Merge branch 'k100ai_dtk2404_optim'

.gitlab-ci.yml

+

Dockerfile

-FROM image.sourcefind.cn:5000/dcu/admin/base/pytorch:1.13.1-centos7.6-dtk-23.04-py38-latest
+FROM image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk24.04-py310
 COPY requirements.txt requirements.txt
-RUN source /opt/dtk-23.04/env.sh
+RUN source /opt/dtk-24.04/env.sh
 RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo 'Asia/Shanghai' >/etc/timezone 
 ENV LANG C.UTF-8
 RUN pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

README.md

@@ -31,12 +31,12 @@ ChatGLM-6B基于GLM架构开发。GLM是一种基于Transformer的语言模型
 ### Docker(方式一)
 推荐使用docker方式运行，提供拉取的docker镜像：
 ```
-docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:1.13.1-centos7.6-dtk-23.04-py38-latest
+docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk24.04-py310
 ```
 
 进入docker，安装docker中没有的依赖:
 ```
-docker run -dit --network=host --name=chatglm --privileged --device=/dev/kfd --device=/dev/dri --ipc=host --shm-size=16G  --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root --ulimit stack=-1:-1 --ulimit memlock=-1:-1 image.sourcefind.cn:5000/dcu/admin/base/pytorch:1.13.1-centos7.6-dtk-23.04-py38-latest
+docker run -dit --network=host --name=chatglm --privileged --device=/dev/kfd --device=/dev/dri --ipc=host --shm-size=16G  --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root --ulimit stack=-1:-1 --ulimit memlock=-1:-1 -v /opt/hyhal/:/opt/hyhal/:ro image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk24.04-py310 /usr/sbin/init
 docker exec -it chatglm /bin/bash
 pip install transformers==4.28.0 -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
 pip install accelerate sentencepiece mdtex2html gradio rouge_chinese nltk jieba datasets protobuf peft pydantic==1.10.9 -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
@@ -44,20 +44,22 @@ pip install accelerate sentencepiece mdtex2html gradio rouge_chinese nltk jieba
 ### Dockerfile(方式二)
 ```
 docker build -t chatglm:latest .
-docker run -dit --network=host --name=chatglm --privileged --device=/dev/kfd --device=/dev/dri --ipc=host --shm-size=16G  --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root --ulimit stack=-1:-1 --ulimit memlock=-1:-1  chatglm:latest
+docker run -dit --network=host --name=chatglm --privileged --device=/dev/kfd --device=/dev/dri --ipc=host --shm-size=16G  --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root --ulimit stack=-1:-1 --ulimit memlock=-1:-1 -v /opt/hyhal/:/opt/hyhal/:ro chatglm:latest
 docker exec -it chatglm /bin/bash
 ```
 
 ### Conda（方法三）
 1. 创建conda虚拟环境：
 ```
-conda create -n chatglm python=3.8
+conda create -n chatglm python=3.10
 ```
 
 2. 关于本项目DCU显卡所需的工具包、深度学习库等均可从[光合](https://developer.hpccube.com/tool/)开发者社区下载安装。
-- [DTK 23.04](https://cancon.hpccube.com:65024/1/main/DTK-23.04.1)
-- [Pytorch 1.13.1](https://cancon.hpccube.com:65024/4/main/pytorch/dtk23.04)
-- [Deepspeed 0.9.2](https://cancon.hpccube.com:65024/4/main/deepspeed/dtk23.04)
+- [DTK 23.04](https://cancon.hpccube.com:65024/1/main/DTK-24.04)
+- [Pytorch 2.1.0](https://cancon.hpccube.com:65024/4/main/pytorch/DAS1.0)
+- [Deepspeed 0.12.3](https://cancon.hpccube.com:65024/4/main/deepspeed/DAS1.0)
+- [Flash_attn 2.0.4](https://cancon.hpccube.com:65024/4/main/flash_attn/DAS1.0)
+- [LightOp 0.3](https://cancon.hpccube.com:65024/4/main/lightop/DAS1.0)
 
     Tips：以上dtk驱动、python、deepspeed等工具版本需要严格一一对应。
 
@@ -78,10 +80,12 @@ pip install -r requirements.txt
 ### 模型下载
 Hugging Face模型下载地址：
 [ChatGLM-6B](https://huggingface.co/THUDM/chatglm-6b)
-
 模型权重SCNet快速下载地址：
 [ChatGLM-6B](http://113.200.138.88:18080/aimodels/chatglm-6b)
 
+**为了获得训练中性能提升，请将所下载预训练模型文件夹中`modeling_chatglm.py`文件替换为本项目[model](./model/)目录下的`modeling_chatglm.py`。需要注意，推理时需使用原`modeling_chatglm.py`内的计算方式。**
+=======
+
 ## 训练
 
 ### P-tuning v2 微调训练