Commit 6993376e authored by zhouxiang's avatar zhouxiang
Browse files

修改格式

parent 721e2e30
...@@ -59,7 +59,7 @@ docker run -it --name=<container_name> -v <project_path>:/work -w /work --device ...@@ -59,7 +59,7 @@ docker run -it --name=<container_name> -v <project_path>:/work -w /work --device
``` ```
#进入本工程目录 #进入本工程目录
cd package cd package
python setup install python setup.py install
``` ```
## 推理 ## 推理
...@@ -67,7 +67,7 @@ python setup install ...@@ -67,7 +67,7 @@ python setup install
### ChatGLM2原版模型转换 ### ChatGLM2原版模型转换
``` ```
# 将模型转换脚本chatglm_export.py移动到原版ChatGLM2-6B环境中,也可以根据工程自带的requirements.txt安装相关依赖 # 将模型转换脚本chatglm_export.py移动到原版ChatGLM2-6B环境中,也可以使用"pip3 install -r requirements.txt"命令根据工程自带的requirements.txt安装相关依赖
# 如果使用自己finetune的模型需要修改chatglm_export.py文件中创建tokenizer, model时的模型存放路径 # 如果使用自己finetune的模型需要修改chatglm_export.py文件中创建tokenizer, model时的模型存放路径
# 执行: # 执行:
python3 chatglm_export.py chatglm2-6b-fp16.bin float16 # 导出fp16模型,参数为导出的模型路径 python3 chatglm_export.py chatglm2-6b-fp16.bin float16 # 导出fp16模型,参数为导出的模型路径
...@@ -81,7 +81,7 @@ python3 chatglm_export.py chatglm2-6b-int8.bin int8 # 导出int8模型,参 ...@@ -81,7 +81,7 @@ python3 chatglm_export.py chatglm2-6b-int8.bin int8 # 导出int8模型,参
# 命令行聊天程序,使用了模型创建以及流式对话效果 # 命令行聊天程序,使用了模型创建以及流式对话效果
python cli_demo.py -p chatglm2-6b-fp16.bin python cli_demo.py -p chatglm2-6b-fp16.bin
# 简易webui,需要先安装streamlit-chat # 简易webui,需要先安装streamlit-chat,并且需要在容器启动时映射streamlit的端口到外部网络
streamlit run web_demo.py chatglm2-6b-fp16.bin streamlit run web_demo.py chatglm2-6b-fp16.bin
``` ```
...@@ -101,7 +101,7 @@ chmod +x benchmark ...@@ -101,7 +101,7 @@ chmod +x benchmark
./benchmark -p ../chatglm2-6b-fp16.bin -f ../benchmark/prompts/hello.txt -b 512 -l 18 ./benchmark -p ../chatglm2-6b-fp16.bin -f ../benchmark/prompts/hello.txt -b 512 -l 18
``` ```
## 运行效果展示 ## result
![chatglm2-6b推理](doc\chatglm2-6b.gif) ![chatglm2-6b推理](doc\chatglm2-6b.gif)
...@@ -113,7 +113,7 @@ chmod +x benchmark ...@@ -113,7 +113,7 @@ chmod +x benchmark
### 热点应用行业 ### 热点应用行业
`nlp,智能聊天助手,科研` `nlp,智能聊天助手,金融,教育`
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
......
# 模型唯一标识 # 模型唯一标识
modelCode = 357 modelCode = 357
# 模型名称 # 模型名称
modelName=ChatGLM2-6B_CPP modelName=chatglm2-6b_cpp
# 模型描述 # 模型描述
modelDescription=chatglm2-6b开源中英双语对话模型的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,具有更强大的新特性 modelDescription=chatglm2-6b开源中英双语对话模型的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,具有更强大的新特性
# 应用场景 # 应用场景
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment