Commit 6c914197 authored by zhaoying1's avatar zhaoying1
Browse files

Update 环境配置

parent 649dfacc
...@@ -10,17 +10,17 @@ ChatGLM-6B 是清华大学开源的开源的、支持中英双语的对话语言 ...@@ -10,17 +10,17 @@ ChatGLM-6B 是清华大学开源的开源的、支持中英双语的对话语言
## 环境配置 ## 环境配置
环境使用1节点8张 Z100L-32G。 ### Docker
推荐使用docker方式运行,提供拉取的docker镜像:
推荐使用docker方式运行,提供[光源](https://www.sourcefind.cn/#/service-details)拉取的docker镜像:image.sourcefind.cn:5000/dcu/admin/base/pytorch:1.10.0-centos7.6-dtk-22.10.1-py37-latest ```
docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:1.13.1-centos7.6-dtk-23.04-py38-latest
进入docker: ```
cd /opt/dtk/.hip 进入docker,安装docker中没有的依赖:
source replace_origin.sh ```
pip3 install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple pip install transformers==4.28.0 -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
pip3 install rouge_chinese nltk jieba datasets -i https://mirrors.aliyun.com/pypi/simple pip install accelerate sentencepiece mdtex2html gradio rouge_chinese nltk jieba datasets protobuf -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
此外,需要安装 Deepspeed,可从开发者社区下载对应版本安装包[Deepspeed](https://cancon.hpccube.com:65024/directlink/4/deepspeed/dtk22.10/deepspeed-0.6.3+1b2721a.dtk2210-cp37-cp37m-manylinux2014_x86_64.whl)进行安装。 ```
## P-tuning v2微调 ## P-tuning v2微调
本仓库实现了对于ChatGLM-6B模型基于[P-Tuning v2](https://github.com/THUDM/P-tuning-v2)的微调。P-Tuning v2是由清华大学提出的一种高效参数微调方法,采用该方法可以将需要微调的参数量减少到原来的 0.1%。 本仓库实现了对于ChatGLM-6B模型基于[P-Tuning v2](https://github.com/THUDM/P-tuning-v2)的微调。P-Tuning v2是由清华大学提出的一种高效参数微调方法,采用该方法可以将需要微调的参数量减少到原来的 0.1%。
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment