Commit 378752b1 authored by wanglch's avatar wanglch
Browse files

Update README.md

parent 99e6fc33
...@@ -41,7 +41,7 @@ umT5:T5 的多语言版本,具备 T5 模型大部分的多功能性,在多 ...@@ -41,7 +41,7 @@ umT5:T5 的多语言版本,具备 T5 模型大部分的多功能性,在多
### Docker(方法一) ### Docker(方法一)
[光源](https://www.sourcefind.cn/#/service-details)拉取docker镜像的地址与使用步骤 [光源](https://www.sourcefind.cn/#/service-details)拉取docker镜像的地址与使用步骤
``` ```
docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu22.04-dtk23.10.1-py310 docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu22.04-dtk24.04.1-py310
docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro --shm-size=64G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name umt5 <your imageID> bash docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro --shm-size=64G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name umt5 <your imageID> bash
...@@ -63,7 +63,7 @@ docker run --shm-size=64G --name umt5 -v /opt/hyhal:/opt/hyhal:ro --privileged=t ...@@ -63,7 +63,7 @@ docker run --shm-size=64G --name umt5 -v /opt/hyhal:/opt/hyhal:ro --privileged=t
关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.hpccube.com/tool/)开发者社区下载安装。 关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.hpccube.com/tool/)开发者社区下载安装。
``` ```
DTK驱动:dtk23.10 DTK驱动:dtk24.04.1
python:python3.10 python:python3.10
torch:2.1.0 torch:2.1.0
torchvision:0.16.0 torchvision:0.16.0
...@@ -98,22 +98,26 @@ pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple ...@@ -98,22 +98,26 @@ pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple
``` ```
## 训练 ## 训练
### 单机多卡 ### 单机多卡
``` ```
python multi_dcu_train.py python train_single_gpu.py
``` ```
### 单机单卡 ### 单机单卡
``` ```
python multi_dcu_test.py python train_single_duc.py
``` ```
## 推理 ## 推理
推理前需要进行预训练 推理前需要进行预训练
### 单机多卡 ### 单机多卡
``` ```
python multi_dcu_test.py python multi_dcu_test.py
``` ```
### 摘要任务 ### 摘要任务
要进行摘要任务需先进行模型训练,从hf-mirror或者huggingface下载umt5-base模型后,使用**multi_dcu_train.py**进行训练,保存训练权重后,加载权重进行摘要处理。同理,若要处理阅读理解,语言翻译任务时也需要做类似操作。 要进行摘要任务需先进行模型训练,从hf-mirror或者huggingface下载umt5-base模型后,使用**multi_dcu_train.py**进行训练,保存训练权重后,加载权重进行摘要处理。同理,若要处理阅读理解,语言翻译任务时也需要做类似操作。
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment