fix_tp16

README.md

@@ -120,8 +120,9 @@ ray start --address='x.x.x.x:6379' --num-gpus=8 --num-cpus=32
 ## serve启动
 
 vllm serve moonshotai/Kimi-K2.5 \
-    -tp 32 \
+    -tp 16 \
     --distributed-executor-backend ray \
+    --gpu-memory-utilization 0.95 \
     --mm-encoder-tp-mode data \
     --trust-remote-code \
     --tool-call-parser kimi_k2 \
@@ -150,7 +151,7 @@ DCU与GPU精度一致，推理框架：vllm。
 ## 预训练权重
 |  模型名称  | 权重大小 | DCU型号  | 最低卡数需求 |         下载地址          |
 |:------:|:----:|:----------:|:------:|:---------------------:|
-| Kimi-K2.5 | 1.1T | BW1000 |   32   | [Hugging Face](https://huggingface.co/moonshotai/Kimi-K2.5) |
+| Kimi-K2.5 | 1.1T | BW1000 |   16   | [Hugging Face](https://huggingface.co/moonshotai/Kimi-K2.5) |
 
 ## 源码仓库及问题反馈
 - https://developer.sourcefind.cn/codes/modelzoo/kimi-k2.5_vllm