Commit 6993376e authored by zhouxiang's avatar zhouxiang
Browse files

修改格式

parent 721e2e30
......@@ -59,7 +59,7 @@ docker run -it --name=<container_name> -v <project_path>:/work -w /work --device
```
#进入本工程目录
cd package
python setup install
python setup.py install
```
## 推理
......@@ -67,7 +67,7 @@ python setup install
### ChatGLM2原版模型转换
```
# 将模型转换脚本chatglm_export.py移动到原版ChatGLM2-6B环境中,也可以根据工程自带的requirements.txt安装相关依赖
# 将模型转换脚本chatglm_export.py移动到原版ChatGLM2-6B环境中,也可以使用"pip3 install -r requirements.txt"命令根据工程自带的requirements.txt安装相关依赖
# 如果使用自己finetune的模型需要修改chatglm_export.py文件中创建tokenizer, model时的模型存放路径
# 执行:
python3 chatglm_export.py chatglm2-6b-fp16.bin float16 # 导出fp16模型,参数为导出的模型路径
......@@ -81,7 +81,7 @@ python3 chatglm_export.py chatglm2-6b-int8.bin int8 # 导出int8模型,参
# 命令行聊天程序,使用了模型创建以及流式对话效果
python cli_demo.py -p chatglm2-6b-fp16.bin
# 简易webui,需要先安装streamlit-chat
# 简易webui,需要先安装streamlit-chat,并且需要在容器启动时映射streamlit的端口到外部网络
streamlit run web_demo.py chatglm2-6b-fp16.bin
```
......@@ -101,7 +101,7 @@ chmod +x benchmark
./benchmark -p ../chatglm2-6b-fp16.bin -f ../benchmark/prompts/hello.txt -b 512 -l 18
```
## 运行效果展示
## result
![chatglm2-6b推理](doc\chatglm2-6b.gif)
......@@ -113,7 +113,7 @@ chmod +x benchmark
### 热点应用行业
`nlp,智能聊天助手,科研`
`nlp,智能聊天助手,金融,教育`
## 源码仓库及问题反馈
......
# 模型唯一标识
modelCode = 357
# 模型名称
modelName=ChatGLM2-6B_CPP
modelName=chatglm2-6b_cpp
# 模型描述
modelDescription=chatglm2-6b开源中英双语对话模型的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,具有更强大的新特性
# 应用场景
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment