Commit 4ff327d6 authored by yuguo's avatar yuguo
Browse files

perf

parent 9596bb1b
...@@ -62,17 +62,17 @@ train.dist.pipeline_parallel_size = 1 ...@@ -62,17 +62,17 @@ train.dist.pipeline_parallel_size = 1
cd libai cd libai
bash tools/train.sh tools/train_net.py configs/gpt2_pretrain.py 4 bash tools/train.sh tools/train_net.py configs/gpt2_pretrain.py 4
### 性能和收敛性 ### 模型精度
训练数据:[https://oneflow-static.oss-cn-beijing.aliyuncs.com/ci-files/dataset/libai/gpt_dataset](链接) 训练数据:[https://oneflow-static.oss-cn-beijing.aliyuncs.com/ci-files/dataset/libai/gpt_dataset](链接)
使用的GPGPU:4张DCU-Z100-16G。 使用的GPGPU:4张DCU-Z100-16G。
模型性能及收敛性 模型精度
| 卡数 | 分布式工具 | 性能 | 收敛性 | | 卡数 | 分布式工具 | 收敛性 |
| :--: | :--------: | :--------------: | :---------------------------: | | :--: | :--------: | :---------------------------: |
| 4 | Libai-main | 129.55 samples/s | total_loss: 4.336/10000 iters | | 4 | Libai-main | total_loss: 4.336/10000 iters |
## GPT2-13B预训练 ## GPT2-13B预训练
...@@ -130,16 +130,16 @@ train.dist.pipeline_parallel_size = 4 ...@@ -130,16 +130,16 @@ train.dist.pipeline_parallel_size = 4
tail -f log/xxx.out.log #查看输出log tail -f log/xxx.out.log #查看输出log
tail -f log/xxx.err.log #查看错误log tail -f log/xxx.err.log #查看错误log
### 性能和收敛性 ### 模型精度
训练数据:[https://oneflow-static.oss-cn-beijing.aliyuncs.com/ci-files/dataset/libai/gpt_dataset](链接) 训练数据:[https://oneflow-static.oss-cn-beijing.aliyuncs.com/ci-files/dataset/libai/gpt_dataset](链接)
使用的GPGPU:96张DCU-Z100-16G。 使用的GPGPU:96张DCU-Z100-16G。
模型性能及收敛性 模型精度
| 卡数 | 分布式工具 | 性能 | 收敛性 | | 卡数 | 分布式工具 | 收敛性 |
| :------: | :------: | :------: |:------: | | :------: | :------: |:------: |
| 96 | Libai-main | 2.27 samples/s | total_loss: 5.56/1299 iters | | 96 | Libai-main | total_loss: 5.56/1299 iters |
## 参考 ## 参考
* https://libai.readthedocs.io/en/latest/tutorials/get_started/quick_run.html * https://libai.readthedocs.io/en/latest/tutorials/get_started/quick_run.html
* https://github.com/Oneflow-Inc/oneflow * https://github.com/Oneflow-Inc/oneflow
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment