Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
ChatGLM2-6B_fastllm
Commits
6993376e
Commit
6993376e
authored
Oct 13, 2023
by
zhouxiang
Browse files
修改格式
parent
721e2e30
Changes
2
Hide whitespace changes
Inline
Side-by-side
Showing
2 changed files
with
6 additions
and
6 deletions
+6
-6
README.md
README.md
+5
-5
model.properties
model.properties
+1
-1
No files found.
README.md
View file @
6993376e
...
...
@@ -59,7 +59,7 @@ docker run -it --name=<container_name> -v <project_path>:/work -w /work --device
```
#进入本工程目录
cd package
python setup install
python setup
.py
install
```
## 推理
...
...
@@ -67,7 +67,7 @@ python setup install
### ChatGLM2原版模型转换
```
# 将模型转换脚本chatglm_export.py移动到原版ChatGLM2-6B环境中,也可以根据工程自带的requirements.txt安装相关依赖
# 将模型转换脚本chatglm_export.py移动到原版ChatGLM2-6B环境中,也可以
使用"pip3 install -r requirements.txt"命令
根据工程自带的requirements.txt安装相关依赖
# 如果使用自己finetune的模型需要修改chatglm_export.py文件中创建tokenizer, model时的模型存放路径
# 执行:
python3 chatglm_export.py chatglm2-6b-fp16.bin float16 # 导出fp16模型,参数为导出的模型路径
...
...
@@ -81,7 +81,7 @@ python3 chatglm_export.py chatglm2-6b-int8.bin int8 # 导出int8模型,参
# 命令行聊天程序,使用了模型创建以及流式对话效果
python cli_demo.py -p chatglm2-6b-fp16.bin
# 简易webui,需要先安装streamlit-chat
# 简易webui,需要先安装streamlit-chat
,并且需要在容器启动时映射streamlit的端口到外部网络
streamlit run web_demo.py chatglm2-6b-fp16.bin
```
...
...
@@ -101,7 +101,7 @@ chmod +x benchmark
./benchmark -p ../chatglm2-6b-fp16.bin -f ../benchmark/prompts/hello.txt -b 512 -l 18
```
##
运行效果展示
##
result

...
...
@@ -113,7 +113,7 @@ chmod +x benchmark
### 热点应用行业
`nlp,智能聊天助手,
科研
`
`nlp,智能聊天助手,
金融,教育
`
## 源码仓库及问题反馈
...
...
model.properties
View file @
6993376e
# 模型唯一标识
modelCode
=
357
# 模型名称
modelName
=
C
hat
GLM2-6B_CPP
modelName
=
c
hat
glm2-6b_cpp
# 模型描述
modelDescription
=
chatglm2-6b开源中英双语对话模型的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,具有更强大的新特性
# 应用场景
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment