Skip to content

GitLab

Commit f3eb3ea9 authored by dengjb's avatar dengjb
Browse files

update

parent 68b83cdf
Hide whitespace changes
Inline Side-by-side
Showing with 2 additions and 2 deletions
README.md
View file @ f3eb3ea9
...@@ -58,7 +58,7 @@ vllm serve /path/of/TeleAI/T1-35B/ \ ...@@ -58,7 +58,7 @@ vllm serve /path/of/TeleAI/T1-35B/ \
--max-model-len 32768 \ --max-model-len 32768 \
--served-model-name teleai_t1 \ --served-model-name teleai_t1 \
--dtype bfloat16 \ --dtype bfloat16 \
-tp 1 -tp 4
## client访问 ## client访问
可参考vllm_cilent.sh 可参考vllm_cilent.sh
...@@ -87,7 +87,7 @@ DCU与GPU精度一致，推理框架：vllm。 ...@@ -87,7 +87,7 @@ DCU与GPU精度一致，推理框架：vllm。
## 预训练权重 ## 预训练权重
| 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址| | 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址|
|:-----:|:----------:|:----------:|:---------------------:|:----------:| |:-----:|:----------:|:----------:|:---------------------:|:----------:|
| TeleAI_T1 | 35B | BW1000 | 1 | [modelscope](https://modelscope.cn/models/TeleAI/T1-35B) | | TeleAI_T1 | 35B | BW1000 | 4 | [modelscope](https://modelscope.cn/models/TeleAI/T1-35B) |
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/teleai_t1_vllm - https://developer.sourcefind.cn/codes/modelzoo/teleai_t1_vllm
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment