Skip to content

GitLab

Commit 0715629e authored by luopl's avatar luopl
Browse files

fix_tp16

parent 3374aaf6
Show whitespace changes
Inline Side-by-side
Showing with 3 additions and 2 deletions
README.md
View file @ 0715629e
...@@ -120,8 +120,9 @@ ray start --address='x.x.x.x:6379' --num-gpus=8 --num-cpus=32 ...@@ -120,8 +120,9 @@ ray start --address='x.x.x.x:6379' --num-gpus=8 --num-cpus=32
## serve启动 ## serve启动
vllm serve moonshotai/Kimi-K2.5 \ vllm serve moonshotai/Kimi-K2.5 \
-tp 32 \ -tp 16 \
--distributed-executor-backend ray \ --distributed-executor-backend ray \
--gpu-memory-utilization 0.95 \
--mm-encoder-tp-mode data \ --mm-encoder-tp-mode data \
--trust-remote-code \ --trust-remote-code \
--tool-call-parser kimi_k2 \ --tool-call-parser kimi_k2 \
...@@ -150,7 +151,7 @@ DCU与GPU精度一致，推理框架：vllm。 ...@@ -150,7 +151,7 @@ DCU与GPU精度一致，推理框架：vllm。
## 预训练权重 ## 预训练权重
| 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 | 下载地址 | | 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 | 下载地址 |
|:------:|:----:|:----------:|:------:|:---------------------:| |:------:|:----:|:----------:|:------:|:---------------------:|
| Kimi-K2.5 | 1.1T | BW1000 | 32 | [Hugging Face](https://huggingface.co/moonshotai/Kimi-K2.5) | | Kimi-K2.5 | 1.1T | BW1000 | 16 | [Hugging Face](https://huggingface.co/moonshotai/Kimi-K2.5) |
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/kimi-k2.5_vllm - https://developer.sourcefind.cn/codes/modelzoo/kimi-k2.5_vllm
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment