Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
UMT5_pytorch
Commits
378752b1
Commit
378752b1
authored
Aug 22, 2024
by
wanglch
Browse files
Update README.md
parent
99e6fc33
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
8 additions
and
4 deletions
+8
-4
README.md
README.md
+8
-4
No files found.
README.md
View file @
378752b1
...
@@ -41,7 +41,7 @@ umT5:T5 的多语言版本,具备 T5 模型大部分的多功能性,在多
...
@@ -41,7 +41,7 @@ umT5:T5 的多语言版本,具备 T5 模型大部分的多功能性,在多
### Docker(方法一)
### Docker(方法一)
[
光源
](
https://www.sourcefind.cn/#/service-details
)
拉取docker镜像的地址与使用步骤
[
光源
](
https://www.sourcefind.cn/#/service-details
)
拉取docker镜像的地址与使用步骤
```
```
docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu22.04-dtk2
3.10
.1-py310
docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu22.04-dtk2
4.04
.1-py310
docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro --shm-size=64G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name umt5 <your imageID> bash
docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro --shm-size=64G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name umt5 <your imageID> bash
...
@@ -63,7 +63,7 @@ docker run --shm-size=64G --name umt5 -v /opt/hyhal:/opt/hyhal:ro --privileged=t
...
@@ -63,7 +63,7 @@ docker run --shm-size=64G --name umt5 -v /opt/hyhal:/opt/hyhal:ro --privileged=t
关于本项目DCU显卡所需的特殊深度学习库可从
[
光合
](
https://developer.hpccube.com/tool/
)
开发者社区下载安装。
关于本项目DCU显卡所需的特殊深度学习库可从
[
光合
](
https://developer.hpccube.com/tool/
)
开发者社区下载安装。
```
```
DTK驱动:dtk2
3.10
DTK驱动:dtk2
4.04.1
python:python3.10
python:python3.10
torch:2.1.0
torch:2.1.0
torchvision:0.16.0
torchvision:0.16.0
...
@@ -98,22 +98,26 @@ pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple
...
@@ -98,22 +98,26 @@ pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple
```
```
## 训练
## 训练
### 单机多卡
### 单机多卡
```
```
python
multi_dcu_train
.py
python
train_single_gpu
.py
```
```
### 单机单卡
### 单机单卡
```
```
python
multi_dcu_test
.py
python
train_single_duc
.py
```
```
## 推理
## 推理
推理前需要进行预训练
推理前需要进行预训练
### 单机多卡
### 单机多卡
```
```
python multi_dcu_test.py
python multi_dcu_test.py
```
```
### 摘要任务
### 摘要任务
要进行摘要任务需先进行模型训练,从hf-mirror或者huggingface下载umt5-base模型后,使用
**multi_dcu_train.py**
进行训练,保存训练权重后,加载权重进行摘要处理。同理,若要处理阅读理解,语言翻译任务时也需要做类似操作。
要进行摘要任务需先进行模型训练,从hf-mirror或者huggingface下载umt5-base模型后,使用
**multi_dcu_train.py**
进行训练,保存训练权重后,加载权重进行摘要处理。同理,若要处理阅读理解,语言翻译任务时也需要做类似操作。
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment