Commit a5028f17 authored by zhouxiang's avatar zhouxiang
Browse files

添加tp的描述

parent 0573f8cb
...@@ -75,7 +75,8 @@ cd .. && python3 setup.py install ...@@ -75,7 +75,8 @@ cd .. && python3 setup.py install
```shell ```shell
# 转模型格式,转换后的模型会生成在./workspace目录中 # 转模型格式,转换后的模型会生成在./workspace目录中
lmdeploy convert codellama /path/of/codellama/model # 其中--tp设置为你需要使用的gpu数,tp需要设置为2^n,如果tp设置的不是1,则后续模型的运行命令中也需要带上这个参数与模型对应
lmdeploy convert codellama /path/of/codellama/model --tp 1
``` ```
接下来,可参考如下章节,在控制台与 codellama 进行交互式对话。 接下来,可参考如下章节,在控制台与 codellama 进行交互式对话。
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment