updata

README.md

@@ -28,36 +28,40 @@ Visual Coding Boost：从图像/视频生成 Draw.io/HTML/CSS/JS。
 ## 环境依赖
 
 |     软件     |           版本           |
-|:------------:| :------: |
+| :----------: | :----------------------: |
 |     DTK      |         25.04.2          |
 |    python    |         3.10.12          |
 | transformers |          4.57.1          |
 |    torch     | 2.5.1+das.opt1.dtk25042  |
 |  accelerate  |          1.11.0          |
 | torchvision  | 0.20.1+das.opt1.dtk25042 |
-|      flash_attn      | 2.6.1+das.opt1.dtk2504|
-|      av      | 16.0.1|
+|  flash_attn  |  2.6.1+das.opt1.dtk2504  |
+|      av      |          16.0.1          |
 
 推荐使用镜像:
+
 - 挂载地址`-v`，`{docker_name}`和 `{docker_image_name}`根据实际模型情况修改
 
 ```bash
 docker run -it --shm-size 200g --network=host --name {docker_name} --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_path/:/path/your_code_path/ -v /opt/hyhal/:/opt/hyhal/:ro {docker_image_name} bash
 
 示例如下：
-docker pull image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-py3.10
-docker run -it --shm-size 200g --network=host --name qwen3vl --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_path/:/path/your_code_path/ -v /opt/hyhal/:/opt/hyhal/:ro image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-py3.10 bash
+docker pull harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk25.04.2-1226-das1.7-py3.10-20251226
+docker run -it --shm-size 200g --network=host --name qwen3vl --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_path/:/path/your_code_path/ -v /opt/hyhal/:/opt/hyhal/:ro harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk25.04.2-1226-das1.7-py3.10-20251226 bash
 #视频推理时安装PyAV后端依赖
 pip install av
 ```
+
 更多镜像可前往[光源](https://sourcefind.cn/#/service-list)下载使用。
 
 关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装，其它包参照requirements.txt安装：
+
 ```
 pip install -r requirements.txt
 ```
 
 ## 数据集
+
 `暂无`
 
 ## 训练
@@ -120,9 +124,46 @@ Output:
 <div align=center>
     <img src="./doc/result_vedio.png"/>
 </div>
+### vllm
+
+#### 单机推理
+
+```bash
+## serve启动
+export HF_HUB_OFFLINE=1
+export TRANSFORMERS_OFFLINE=1
+
+vllm serve Qwen3-VL-8B-Instruct \
+--trust-remote-code \
+--max-model-len 32768 \
+--served-model-name qwen-vl \
+--dtype bfloat16 \
+--tensor-parallel-size 1 \
+--gpu-memory-utilization 0.9
+
+## client访问
+curl http://localhost:8000/v1/chat/completions   \
+    -H "Content-Type: application/json"  \
+    -d '{
+        "model": "qwen-vl",
+        "messages": [
+            {
+                "role": "user",
+                "content": "牛顿提出了哪三大运动定律？请简要说明。"
+            }
+        ]
+    }'
+```
+
+## vllm效果展示
+
+<div align=center>
+    <img src="./doc/perform.png"/>
+</div>
 
 ### 精度
-`DCU与GPU精度一致，推理框架：transformers。`
+
+`DCU与GPU精度一致，支持推理框架：transformers、vllm。`
 
 ## 预训练权重
 |         模型名称         | 权重大小 | DCU型号  | 最低卡数需求 |下载地址|