Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
ChatGLM-6B_fastllm
Commits
59ffe699
Commit
59ffe699
authored
Oct 13, 2023
by
zhouxiang
Browse files
更新格式
parent
c68f42a4
Changes
2
Hide whitespace changes
Inline
Side-by-side
Showing
2 changed files
with
17 additions
and
6 deletions
+17
-6
README.md
README.md
+16
-5
model.properties
model.properties
+1
-1
No files found.
README.md
View file @
59ffe699
...
...
@@ -21,7 +21,7 @@ ChatGLM-6B 是清华大学开源的开源的、支持中英双语的对话语言
| 模型名称 | 隐含层维度 | 层数 | 头数 | 词表大小 | 位置编码 | 最大序列长度 |
| ---------- | ---------- | ---- | ---- | -------- | -------- | ------------ |
| ChatGLM-6B | 4
,
096 | 28 | 32 | 130528 | RoPE | 2048 |
| ChatGLM-6B | 4096
| 28 | 32 | 130528 | RoPE | 2048 |
## 算法原理
...
...
@@ -69,8 +69,16 @@ make -j4
3.
benchmark: 性能测试程序
## 数据集
无
## 推理
### 原版模型下载
[
原版模型下载
](
[THUDM/chatglm-6b
· Hugging Face](https://huggingface.co/THUDM/chatglm-6b))
### ChatGLM原版模型转换
```
...
...
@@ -102,15 +110,18 @@ cd build
可以使用benchmark程序进行测速,根据./benchmark -h描述进行配置和测试,不同配置、不同输入,推理速度也会有一些差别
```
./benchmark -p ~/chatglm-6b-int4.bin -f ../benchmark/prompts/beijing.txt -b 1
./benchmark -p ~/chatglm-6b-int8.bin -f ../benchmark/prompts/beijing.txt -b 1
./benchmark -p ~/chatglm-6b-fp16.bin -f ../benchmark/prompts/hello.txt -b 512 -l 18
```
##
运行效果展示
##
result

### 精度
无
## 应用场景
### 算法类别
...
...
@@ -119,12 +130,12 @@ cd build
### 热点应用行业
`nlp,智能聊天助手,
科研
`
`nlp,智能聊天助手,
金融,教育
`
## 源码仓库及问题反馈
https://developer.hpccube.com/codes/modelzoo/chatglm6b_cpp
## 参考
## 参考
资料
https://github.com/THUDM/ChatGLM-6B
model.properties
View file @
59ffe699
# 模型唯一标识
modelCode
=
268
# 模型名称
modelName
=
C
hat
GLM6B_CPP
modelName
=
c
hat
glm6b_cpp
# 模型描述
modelDescription
=
ChatGLM-6B是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数
# 应用场景
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment