更新镜像，更新环境变量(包含绑卡顺序，同流推理）

Dockerfile

-FROM image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu20.04-dtk24.04.2-py3.10
+FROM image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-ubuntu22.04-dtk24.04.3-py3.10
 ENV LANG C.UTF-8

README.md

@@ -42,7 +42,7 @@ ChatGLM系列模型基于GLM架构开发。GLM是一种基于Transformer的语
 提供[光源](https://www.sourcefind.cn/#/image/dcu/custom)拉取推理的docker镜像：
 
 ```
-docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-py3.10-dtk24.04.3-ubuntu20.04-vllm0.6
+docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-ubuntu22.04-dtk24.04.3-py3.10
 # <Image ID>用上面拉取docker镜像的ID替换
 # <Host Path>主机端路径
 # <Container Path>容器映射路径
@@ -79,6 +79,18 @@ conda create -n chatglm_vllm python=3.10
 
 `Tips：需先安装相关依赖，最后安装vllm包`  
 
+环境变量：  
+export ALLREDUCE_STREAM_WITH_COMPUTE=1  
+export VLLM_NUMA_BIND=1  
+export VLLM_RANK0_NUMA=0  
+export VLLM_RANK1_NUMA=1  
+export VLLM_RANK2_NUMA=2  
+export VLLM_RANK3_NUMA=3  
+export VLLM_RANK4_NUMA=4  
+export VLLM_RANK5_NUMA=5  
+export VLLM_RANK6_NUMA=6  
+export VLLM_RANK7_NUMA=7  
+
 ## 数据集
 
 无