更新镜像，更新环境变量(包含绑卡顺序，同流推理）

Dockerfile

-FROM image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu20.04-dtk24.04.2-py3.10
+FROM image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-ubuntu22.04-dtk24.04.3-py3.10
 ENV LANG C.UTF-8

README.md

@@ -34,7 +34,7 @@ Qwen1.5是阿里云开源大型语言模型系列，是Qwen2.0的beta版本。
 提供[光源](https://www.sourcefind.cn/#/image/dcu/custom)拉取推理的docker镜像：
 
 ```
-docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-py3.10-dtk24.04.3-ubuntu20.04-vllm0.6
+docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-ubuntu22.04-dtk24.04.3-py3.10
 # <Image ID>用上面拉取docker镜像的ID替换
 # <Host Path>主机端路径
 # <Container Path>容器映射路径
@@ -70,6 +70,16 @@ conda create -n qwen1.5_vllm python=3.10
 * python: python3.10
 
 `Tips：需先安装相关依赖，最后安装vllm包`  
+环境变量：  
+export ALLREDUCE_STREAM_WITH_COMPUTE=1  
+export VLLM_RANK0_NUMA=0  
+export VLLM_RANK1_NUMA=1  
+export VLLM_RANK2_NUMA=4  
+export VLLM_RANK3_NUMA=5  
+export VLLM_RANK4_NUMA=2  
+export VLLM_RANK5_NUMA=3  
+export VLLM_RANK6_NUMA=6  
+export VLLM_RANK7_NUMA=7  
 
 ## 数据集