Update dtk24.04.1

README.md

@@ -19,61 +19,33 @@ mv minicpm_pytorch MiniCPM # 去框架名后缀
 
 ### Docker（方法一）
 ```
-docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk23.10-py38
+docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu20.04-dtk24.04.1-py3.10
 # <your IMAGE ID>为以上拉取的docker的镜像ID替换，本镜像为：ffa1f63239fc
-docker run -it --shm-size=32G -v $PWD/MiniCPM:/home/MiniCPM -v /opt/hyhal:/opt/hyhal --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name minicpm <your IMAGE ID> bash
+docker run -it --shm-size=32G -v $PWD/MiniCPM:/home/MiniCPM -v /opt/hyhal:/opt/hyhal --network=host --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name minicpm <your IMAGE ID> bash
 cd /home/MiniCPM
 pip install -r finetune/requirements.txt # finetune/requirements.txt
-# deepspeed、flash_attn2、xformers可从whl.zip文件里获取安装：
-pip install deepspeed-0.12.3+git299681e.abi0.dtk2310.torch2.1.0a0-cp38-cp38-linux_x86_64.whl
-pip install flash_attn-2.0.4_torch2.1_dtk2310-cp38-cp38-linux_x86_64.whl
-# xformers
-tar -xvf xformers-0.0.23.tar
-cd xformers-0.0.23
-pip install xformers==0.0.23 --no-deps
-bash patch_xformers.rocm.sh
 ```
 ### Dockerfile（方法二）
 ```
 cd MiniCPM/docker
 docker build --no-cache -t minicpm:latest .
-docker run --shm-size=32G --name minicpm -v /opt/hyhal:/opt/hyhal --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video -v $PWD/../../MiniCPM:/home/MiniCPM -it minicpm bash
+docker run --shm-size=32G --name minicpm -v /opt/hyhal:/opt/hyhal --network=host --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video -v $PWD/../../MiniCPM:/home/MiniCPM -it minicpm bash
 # 若遇到Dockerfile启动的方式安装环境需要长时间等待，可注释掉里面的pip安装，启动容器后再安装python库：pip install -r requirements.txt。
-# deepspeed、flash_attn2、xformers可从whl.zip文件里获取安装：
-pip install deepspeed-0.12.3+git299681e.abi0.dtk2310.torch2.1.0a0-cp38-cp38-linux_x86_64.whl
-pip install flash_attn-2.0.4_torch2.1_dtk2310-cp38-cp38-linux_x86_64.whl
-# xformers
-tar -xvf xformers-0.0.23.tar
-cd xformers-0.0.23
-pip install xformers==0.0.23 --no-deps
-bash patch_xformers.rocm.sh
 ```
 ### Anaconda（方法三）
 1、关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装：
 - https://developer.hpccube.com/tool/
 ```
-DTK驱动:dtk23.10
-python:python3.8
+DTK驱动:dtk24.04.1
+python:python3.10
 torch:2.1.0
 torchvision:0.16.0
 triton:2.1.0
-apex:0.1
+apex:1.1.0
 deepspeed:0.12.3
 flash_attn:2.0.4
-xformers:0.0.23
+xformers:0.0.25
 ```
-
-```
-# deepspeed、flash_attn2、xformers可从whl.zip文件里获取安装：
-pip install deepspeed-0.12.3+git299681e.abi0.dtk2310.torch2.1.0a0-cp38-cp38-linux_x86_64.whl
-pip install flash_attn-2.0.4_torch2.1_dtk2310-cp38-cp38-linux_x86_64.whl
-# xformers
-tar -xvf xformers-0.0.23.tar
-cd xformers-0.0.23
-pip install xformers==0.0.23 --no-deps
-bash patch_xformers.rocm.sh
-```
-
 `Tips：以上dtk驱动、python、torch等DCU相关工具版本需要严格一一对应。`
 
 2、其它非特殊库参照requirements.txt安装
@@ -127,34 +99,15 @@ python infer.py
 
 方法二：vllm推理（更快）
 
-1、vllm对环境有特殊要求，需要安装以下版本的库才可用，所需版本位于whl文件夹：
+1、vllm对环境有特殊要求，需要安装以下版本的库才可用，所需版本位于仓库中：
 ```
-pip install vllm-0.2.2+git40eaf6d.abi0.dtk2310.torch2.1-cp38-cp38-linux_x86_64.whl
-pip install transformers==4.35.2
-# 安装xformers-0.0.22
-tar -xvf xformers-0.0.22.tar
-cd xformers
-pip install xformers==0.0.22 --no-deps
-bash patch_xformers-0.0.22.post7.rocm.sh
+pip install vllm-0.5.0+das.opt1.34e37fc.dtk24041-cp310-cp310-linux_x86_64.whl
+pip install lmslim-0.1.0+das.dtk24041-cp310-cp310-linux_x86_64.whl
 ```
 2、模型推理
 ```
 cd MiniCPM
-python inference/convert_hf_to_vllmcpm.py --load checkpoint/miniCPM-bf16 --save vllmcpm_repo_path
-mv vllmcpm_repo_path inference/vllm/examples/infer_cpm/
-python inference.py --model_path vllmcpm_repo_path --prompt_path prompts/prompt_demo.txt #目前不支持awq量化
-```
-
-方法三：fastllm推理
-
-1、特殊环境配置方法：
-```
-pip install transformers==4.37.2
-编译安装fastllm：https://developer.hpccube.com/codes/OpenDAS/fastllm
-```
-2、模型推理
-```
-python infer_fastllm.py
+python infer_vllm.py 
 ```
 
 ## result