Commit 59ffe699 authored by zhouxiang's avatar zhouxiang
Browse files

更新格式

parent c68f42a4
......@@ -21,7 +21,7 @@ ChatGLM-6B 是清华大学开源的开源的、支持中英双语的对话语言
| 模型名称 | 隐含层维度 | 层数 | 头数 | 词表大小 | 位置编码 | 最大序列长度 |
| ---------- | ---------- | ---- | ---- | -------- | -------- | ------------ |
| ChatGLM-6B | 4,096 | 28 | 32 | 130528 | RoPE | 2048 |
| ChatGLM-6B | 4096 | 28 | 32 | 130528 | RoPE | 2048 |
## 算法原理
......@@ -69,8 +69,16 @@ make -j4
3. benchmark: 性能测试程序
## 数据集
## 推理
### 原版模型下载
[原版模型下载]([THUDM/chatglm-6b · Hugging Face](https://huggingface.co/THUDM/chatglm-6b))
### ChatGLM原版模型转换
```
......@@ -102,15 +110,18 @@ cd build
可以使用benchmark程序进行测速,根据./benchmark -h描述进行配置和测试,不同配置、不同输入,推理速度也会有一些差别
```
./benchmark -p ~/chatglm-6b-int4.bin -f ../benchmark/prompts/beijing.txt -b 1
./benchmark -p ~/chatglm-6b-int8.bin -f ../benchmark/prompts/beijing.txt -b 1
./benchmark -p ~/chatglm-6b-fp16.bin -f ../benchmark/prompts/hello.txt -b 512 -l 18
```
## 运行效果展示
## result
![chatglm6b推理](doc/chatglm6b.gif)
### 精度
## 应用场景
### 算法类别
......@@ -119,12 +130,12 @@ cd build
### 热点应用行业
`nlp,智能聊天助手,科研`
`nlp,智能聊天助手,金融,教育`
## 源码仓库及问题反馈
https://developer.hpccube.com/codes/modelzoo/chatglm6b_cpp
## 参考
## 参考资料
https://github.com/THUDM/ChatGLM-6B
# 模型唯一标识
modelCode = 268
# 模型名称
modelName=ChatGLM6B_CPP
modelName=chatglm6b_cpp
# 模型描述
modelDescription=ChatGLM-6B是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数
# 应用场景
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment