Skip to content

GitLab

Commit 81e6b0e9 authored by zhouxiang's avatar zhouxiang
Browse files

完善readme

parent 7cd68ade
Hide whitespace changes
Inline Side-by-side
Showing with 3 additions and 3 deletions
README.md
View file @ 81e6b0e9
...@@ -32,7 +32,7 @@ ChatGLM3-6B基于GLM架构开发。GLM是一种基于Transformer的语言模型 ...@@ -32,7 +32,7 @@ ChatGLM3-6B基于GLM架构开发。GLM是一种基于Transformer的语言模型
<img src="doc/GLM.png" width="550" height="200"> <img src="doc/GLM.png" width="550" height="200">
</div> </div>
本项目主要针对ChatGLM2-6B推理性能优化，达到DCU平台较快的对话效果 本项目主要针对ChatGLM3-6B推理性能优化，达到DCU平台较快的对话效果
## 环境配置 ## 环境配置
...@@ -97,7 +97,7 @@ streamlit run web_demo.py chatglm3-6b-fp16.bin ...@@ -97,7 +97,7 @@ streamlit run web_demo.py chatglm3-6b-fp16.bin
cd api_server_demo cd api_server_demo
pip install -r requirements.txt pip install -r requirements.txt
# 运行api_server服务，使用-p指定转换后的模型文件，客户端代码可以参考openai-client.py实现： # 运行api_server服务，使用-p指定转换后的模型文件，客户端代码可以参考openai-client.py实现：
python fastllm-openai.py -p chatglm3-6b-fp16.bin python fastllm-openai.py -p ../chatglm3-6b-fp16.bin
# 如果需要测试服务的并发性能，可以使用openai-client.py，修改其中的prompt和concurrencys变量值后执行： # 如果需要测试服务的并发性能，可以使用openai-client.py，修改其中的prompt和concurrencys变量值后执行：
python openai-client.py python openai-client.py
``` ```
......
api_server_demo/requirements.txt
View file @ 81e6b0e9
...@@ -2,4 +2,4 @@ uvicorn==0.23.2 ...@@ -2,4 +2,4 @@ uvicorn==0.23.2
pydantic==2.5.1 pydantic==2.5.1
fastapi==0.103.1 fastapi==0.103.1
sse_starlette sse_starlette
openaiopenai==0.28 openai==0.28
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment