Skip to content

GitLab

Commit 841e3e01 authored by yongshk's avatar yongshk
Browse files

add new

parent 11aad6fa
Pipeline #577 failed with stages
in 0 seconds
Hide whitespace changes
Inline Side-by-side
Showing with 5 additions and 5 deletions
README.md
View file @ 841e3e01
...@@ -6,17 +6,17 @@ ...@@ -6,17 +6,17 @@
## 模型结构 ## 模型结构
TransformersXL 是一种改进的 Transformer 模型，旨在处理更长的文本序列。它引入了**延展性机制**，通过**分块处理**超长序列，然后使用**跨块注意力**来捕捉长距离依赖关系。 TransformersXL 是一种改进的 Transformer 模型，旨在处理更长的文本序列。它引入了**延展性机制**，通过**分块处理**超长序列，然后使用**跨块注意力**来捕捉长距离依赖关系。
![img](doc\模型结构.png) ![img](https://developer.hpccube.com/codes/modelzoo/transformer-XL-pytorch/-/raw/main/doc/模型结构.png)
## 算法原理 ## 算法原理
Transformer-XL 在很大程度上依赖于普通 Transformer（Al-Rfou 等人），但引入了两种创新技术——**递归机制**和**相对位置编码**——来克服普通 Transformer 的缺点以下是其原理对比 Transformer-XL 在很大程度上依赖于普通 Transformer（Al-Rfou 等人），但引入了两种创新技术——**递归机制**和**相对位置编码**——来克服普通 Transformer 的缺点以下是其原理对比
transformer transformer
![](doc\transformer的训练与评估.png) ![](https://developer.hpccube.com/codes/modelzoo/transformer-XL-pytorch/-/raw/main/doc/transformer的训练与评估.png)
transformer-XL transformer-XL
![img](doc\xl的训练与评估.png) ![img](https://developer.hpccube.com/codes/modelzoo/transformer-XL-pytorch/-/raw/main/doc/xl的训练与评估.png)
## 环境配置 ## 环境配置
### Docker（方法一） ### Docker（方法一）
此处提供[光源](https://www.sourcefind.cn/#/service-details)拉取docker镜像的地址与使用步骤 此处提供[光源](https://www.sourcefind.cn/#/service-details)拉取docker镜像的地址与使用步骤
...@@ -72,7 +72,7 @@ sh run_enwik8_base.sh train ...@@ -72,7 +72,7 @@ sh run_enwik8_base.sh train
sh run_enwik8_base.sh eval --work_dir 模型路径 sh run_enwik8_base.sh eval --work_dir 模型路径
``` ```
## result ## result
![rusult](doc\rusult.png) ![rusult](https://developer.hpccube.com/codes/modelzoo/transformer-XL-pytorch/-/raw/main/doc/rusult.png)
### 精度 ### 精度
测试数据：[test data](http://mattmahoney.net/dc/enwik8.zip)，使用的加速卡:Z100L。 测试数据：[test data](http://mattmahoney.net/dc/enwik8.zip)，使用的加速卡:Z100L。
...@@ -90,6 +90,6 @@ sh run_enwik8_base.sh eval --work_dir 模型路径 ...@@ -90,6 +90,6 @@ sh run_enwik8_base.sh eval --work_dir 模型路径
`自然语言生成`、`机器翻译`、`长文本分类`、`对话系统` `自然语言生成`、`机器翻译`、`长文本分类`、`对话系统`
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- 此处填本项目gitlab地址 - https://developer.hpccube.com/codes/modelzoo/transformer-XL-pytorch
## 参考资料 ## 参考资料
- https://github.com/kimiyoung/transformer-xl - https://github.com/kimiyoung/transformer-xl
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment