Skip to content

GitLab

"git@developer.sourcefind.cn:gaoqiong/pybind11.git" did not exist on "96f7ce54444efce202dfb72fbe1f0dce48d232c9"
Commit 2f531453 authored by raojy's avatar raojy
Browse files

updata

parent 06f870c9
Hide whitespace changes
Inline Side-by-side
Showing with 2 additions and 7 deletions
README.md
View file @ 2f531453
...@@ -38,9 +38,6 @@ Visual Coding Boost：从图像/视频生成 Draw.io/HTML/CSS/JS。 ...@@ -38,9 +38,6 @@ Visual Coding Boost：从图像/视频生成 Draw.io/HTML/CSS/JS。
| flash_attn | 2.6.1+das.opt1.dtk2504 | | flash_attn | 2.6.1+das.opt1.dtk2504 |
| av | 16.0.1 | | av | 16.0.1 |
| vllm | 0.11.0+das.opt1.alpha.dtk25042.20251225.gca4598a4 | | vllm | 0.11.0+das.opt1.alpha.dtk25042.20251225.gca4598a4 |
## 硬件需求
DCU型号：K100AI,节点数量：2台,卡数：16 张。
推荐使用镜像:harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk25.04.2-1226-das1.7-py3.10-20251226 推荐使用镜像:harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk25.04.2-1226-das1.7-py3.10-20251226
...@@ -123,7 +120,7 @@ curl http://localhost:8000/v1/chat/completions \ ...@@ -123,7 +120,7 @@ curl http://localhost:8000/v1/chat/completions \
}' }'
``` ```
### 多机多卡推理 ### 多机推理
样例模型：[Qwen3-VL-235B-A22B-Thinking ](https://huggingface.co/Qwen/Qwen3-VL-235B-A22B-Thinking) 样例模型：[Qwen3-VL-235B-A22B-Thinking ](https://huggingface.co/Qwen/Qwen3-VL-235B-A22B-Thinking)
1. 加入环境变量 1. 加入环境变量
...@@ -245,12 +242,10 @@ Output: ...@@ -245,12 +242,10 @@ Output:
### 精度 ### 精度
`DCU与GPU精度一致，支持推理框架：transformers、vllm。` `DCU与GPU精度一致，推理框架：transformers、vllm。`
## 预训练权重 ## 预训练权重
## Qwen3-VL 全系列模型清单
| **模型名称** | **权重大小** | **最低卡数需求 (K100AI)** | **下载地址 (Hugging Face)** | | **模型名称** | **权重大小** | **最低卡数需求 (K100AI)** | **下载地址 (Hugging Face)** |
| ------------------------------- | ------------ | ------------------------- | ------------------------------------------------------------ | | ------------------------------- | ------------ | ------------------------- | ------------------------------------------------------------ |
| **Qwen3-VL-2B-Instruct** | 2B | 1 | [Qwen3-VL-2B-Instruct](https://huggingface.co/Qwen/Qwen3-VL-2B-Instruct) | | **Qwen3-VL-2B-Instruct** | 2B | 1 | [Qwen3-VL-2B-Instruct](https://huggingface.co/Qwen/Qwen3-VL-2B-Instruct) |
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment