Commit 6939e47c authored by xiabo's avatar xiabo
Browse files

Update README.md

parent 6df4a6ac
...@@ -86,6 +86,32 @@ python3 -m lmdeploy.turbomind.chat ./workspace_intern ...@@ -86,6 +86,32 @@ python3 -m lmdeploy.turbomind.chat ./workspace_intern
python3 -m lmdeploy.serve.gradio.app ./workspace_intern 10.6.10.67 python3 -m lmdeploy.serve.gradio.app ./workspace_intern 10.6.10.67
打开网页输入10.6.10.67:6006 打开网页输入10.6.10.67:6006
``` ```
### 部署 [baichuan](https://huggingface.co/baichuan-inc) 服务
请从[这里](https://huggingface.co/baichuan-inc) 下载 baichuan 模型,参考如下命令部署服务:
以7B为例:
```
1、模型转换
python3 -m lmdeploy.serve.turbomind.deploy baichuan2-7b-chat baichuan2-7b-chat hf baichuan2-7b-chat/tokenizer.model ./workspace_baichuan
2、运行
- 在命令行界面运行:
python3 -m lmdeploy.turbomind.chat ./workspace_baichuan
- 在服务器界面运行:
python3 -m lmdeploy.serve.gradio.app ./workspace_baichuan 10.6.10.67
打开网页输入10.6.10.67:6006
```
### 部署 [qwen](https://huggingface.co/Qwen) 服务
请从[这里](https://huggingface.co/Qwen) 下载 qwen 模型,参考如下命令部署服务:
以7B为例:
```
1、模型转换
python3 -m lmdeploy.serve.turbomind.deploy qwen-7b qwen-7b-chat qwen qwen-7b-chat/tokenizer.model ./workspace_qwen
2、运行
- 在命令行界面运行:
python3 -m lmdeploy.turbomind.chat ./workspace_qwen
- 在服务器界面运行:
python3 -m lmdeploy.serve.gradio.app ./workspace_qwen 10.6.10.67
打开网页输入10.6.10.67:6006
```
### 详细可参考 [docs](./docs/zh_cn/serving.md) ### 详细可参考 [docs](./docs/zh_cn/serving.md)
## 版本号查询 ## 版本号查询
- python -c "import lmdeploy; lmdeploy.\_\_version__",版本号与官方版本同步,查询该软件的版本号,例如0.0.6; - python -c "import lmdeploy; lmdeploy.\_\_version__",版本号与官方版本同步,查询该软件的版本号,例如0.0.6;
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment