更新镜像，更新环境变量(包含绑卡顺序，同流推理）

Dockerfile

-FROM image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-py3.10-dtk24.04.3-ubuntu20.04-vllm0.6
+FROM image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-ubuntu22.04-dtk24.04.3-py3.10
 ENV LANG C.UTF-8

README.md

@@ -38,7 +38,7 @@ Mixtral模型是一种稀疏专家混合（SMoE）语言模型，在每层包含
 提供[光源](https://www.sourcefind.cn/#/image/dcu/custom)拉取推理的docker镜像：
 
 ```
-docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-py3.10-dtk24.04.3-ubuntu20.04-vllm0.6
+docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-ubuntu22.04-dtk24.04.3-py3.10
 # <Image ID>用上面拉取docker镜像的ID替换
 # <Host Path>主机端路径
 # <Container Path>容器映射路径
@@ -73,7 +73,19 @@ conda create -n mixtral_vllm python=3.10
 * vllm: 0.6.2
 * python: python3.10
 
-`Tips：需先安装相关依赖，最后安装vllm包`
+`Tips：需先安装相关依赖，最后安装vllm包`  
+
+环境变量：  
+export ALLREDUCE_STREAM_WITH_COMPUTE=1  
+export VLLM_NUMA_BIND=1  
+export VLLM_RANK0_NUMA=0  
+export VLLM_RANK1_NUMA=1  
+export VLLM_RANK2_NUMA=2  
+export VLLM_RANK3_NUMA=3  
+export VLLM_RANK4_NUMA=4  
+export VLLM_RANK5_NUMA=5  
+export VLLM_RANK6_NUMA=6  
+export VLLM_RANK7_NUMA=7  
 
 ## 数据集