"src/git@developer.sourcefind.cn:chenpangpang/open-webui.git" did not exist on "dc412d21f71dc1bddf8ab70f35d7a86434ae34e1"
Commit c8d118bc authored by huchen's avatar huchen
Browse files

Merge branch '更新GNMT测试结果' into 'main'

更新了GNMTv2测试结果

See merge request dcutoolkit/deeplearing/dlexamples_new!12
parents aeaee61d 6a57493a
...@@ -36,20 +36,20 @@ python3 setup.py install ...@@ -36,20 +36,20 @@ python3 setup.py install
+ 下载[mosedecoder](https://github.com/moses-smt/mosesdecoder)工具 + 下载[mosedecoder](https://github.com/moses-smt/mosesdecoder)工具
+ 使用**mosedecoder****newstest2016**等数据集转换为原始txt格式 + 使用**mosedecoder****newstest2016**等数据集转换为原始txt格式
+ 使用**mosedecoder**中的**tokenizer**分词器将语料进行分词 + 使用**mosedecoder**中的**tokenizer**分词器将语料进行分词
+ 清洗所有语料(copora) + 清洗所有语料
+ 做BPE +**BPE**
### 2. 数据集预处理 ### 2. 数据集预处理
此部分已经整合到**train.py** 此部分已经整合到**train.py**
### 3. 修改训练脚本 ### 3. 修改训练脚本
修改训练脚本**`run_fp32_singleCard.sh`**内的参数: 修改训练脚本**run_fp32_singleCard.sh**内的参数:
``` ```
GPUS: 使用几张GPU卡 --GPUS: GPU卡
TRAIN_BATCH_SIZE:批大小 --TRAIN_BATCH_SIZE: 批大小
NUMEPOCHS: 代数 --NUMEPOCHS: 代数
TRAIN_SEQ_LEN: 最大句子长度 --TRAIN_SEQ_LEN: 最大句子长度
MATH: 精度 --MATH: 精度
``` ```
### 4. 执行训练 ### 4. 执行训练
``` ```
...@@ -57,11 +57,12 @@ bash run_fp32_singleCard.sh ...@@ -57,11 +57,12 @@ bash run_fp32_singleCard.sh
``` ```
### 5. 测试结果 ### 5. 测试结果
| 卡数 | 精度 | bs | 测试结果 | NV卡对比 | | 卡数 | 精度 | bs | 测试结果 | NV卡对比 | 显存占用 |
| :---: | :---: | :---: | :---: | :---: | |:---:|:---:|:---:|:---:|:---:|:---:|
| 1 | FP32 | 64 | 11650 | | | 1 | FP32 | 64 | 11332 | | 54% |
| 1 | FP32 | 128 | 14220 | 21860 | | 1 | FP32 | 128 | 14025 | 21860 | 80% |
| 1 | FP16 | 128 | 11500 | | | 1 | FP16 | 128 | 11404 | | 58% |
| 4 | FP32 | 64 | 8521 * 4 | | | 1 | FP16 | 256 | 13584 | | 97% |
| 4 | FP32 | 128 | 11225 * 4 | 80224 | | 4 | FP32 | 64 | 9784 * 4 | | 66% |
| 4 | FP16 | 128 | 10692 * 4 | | | 4 | FP32 | 128 | 12495 * 4 | 80224 | 92% |
| 4 | FP16 | 128 | 10937 * 4 | | 71% |
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment