参考网址https://github.com/kimiyoung/transformer-xl

# 1.数据准备

数据集下载地址：http://mattmahoney.net/dc/enwik8.zip

数据处理：在enwik8.zip同一文件夹下

```
python3 prep_enwik8.py
```

# 2.数据转换

1.修改enwik8_base_gpu.sh脚本中DATA_ROOT为数据路径

2.执行

```
bash ./scripts/enwik8_base_gpu.sh train_data
```

# 3.模型运行

```
#单卡运行
bash ./scripts/enwik8_base1_gpu.sh train
#多卡运行
bash scripts/enwik8_base_gpu.sh
```

# 4.重要参数说明

```
enwik8_base_gpu.sh & enwik8_base1_gpu.sh
--MODEL_DIR   --模型保存位置
--NUM_CORE    --为使用GPU数量，
--BSZ         --batchs_size（注意使用数据转化是使用的BSZ和训练使用的BSZ需要保持一致）
--TRAIN_STEPS --训练步数
```