Commit 81e6b0e9 authored by zhouxiang's avatar zhouxiang
Browse files

完善readme

parent 7cd68ade
......@@ -32,7 +32,7 @@ ChatGLM3-6B基于GLM架构开发。GLM是一种基于Transformer的语言模型
<img src="doc/GLM.png" width="550" height="200">
</div>
本项目主要针对ChatGLM2-6B推理性能优化,达到DCU平台较快的对话效果
本项目主要针对ChatGLM3-6B推理性能优化,达到DCU平台较快的对话效果
## 环境配置
......@@ -97,7 +97,7 @@ streamlit run web_demo.py chatglm3-6b-fp16.bin
cd api_server_demo
pip install -r requirements.txt
# 运行api_server服务,使用-p指定转换后的模型文件,客户端代码可以参考openai-client.py实现:
python fastllm-openai.py -p chatglm3-6b-fp16.bin
python fastllm-openai.py -p ../chatglm3-6b-fp16.bin
# 如果需要测试服务的并发性能,可以使用openai-client.py,修改其中的prompt和concurrencys变量值后执行:
python openai-client.py
```
......
......@@ -2,4 +2,4 @@ uvicorn==0.23.2
pydantic==2.5.1
fastapi==0.103.1
sse_starlette
openaiopenai==0.28
openai==0.28
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment