Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
GPT2_oneflow
Commits
4ff327d6
Commit
4ff327d6
authored
Apr 25, 2023
by
yuguo
Browse files
perf
parent
9596bb1b
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
10 additions
and
10 deletions
+10
-10
README.md
README.md
+10
-10
No files found.
README.md
View file @
4ff327d6
...
...
@@ -62,17 +62,17 @@ train.dist.pipeline_parallel_size = 1
cd libai
bash tools/train.sh tools/train_net.py configs/gpt2_pretrain.py 4
###
性能和收敛性
###
模型精度
训练数据:
[
https://oneflow-static.oss-cn-beijing.aliyuncs.com/ci-files/dataset/libai/gpt_dataset
](
链接
)
使用的GPGPU:4张DCU-Z100-16G。
模型
性能及收敛性
:
模型
精度
:
| 卡数 | 分布式工具 |
性能 |
收敛性 |
| :--: | :--------: |
:--------------: |
:---------------------------: |
| 4 | Libai-main |
129.55 samples/s |
total_loss: 4.336/10000 iters |
| 卡数 | 分布式工具 | 收敛性 |
| :--: | :--------: | :---------------------------: |
| 4 | Libai-main | total_loss: 4.336/10000 iters |
## GPT2-13B预训练
...
...
@@ -130,16 +130,16 @@ train.dist.pipeline_parallel_size = 4
tail -f log/xxx.out.log #查看输出log
tail -f log/xxx.err.log #查看错误log
###
性能和收敛性
###
模型精度
训练数据:
[
https://oneflow-static.oss-cn-beijing.aliyuncs.com/ci-files/dataset/libai/gpt_dataset
](
链接
)
使用的GPGPU:96张DCU-Z100-16G。
模型
性能及收敛性
:
| 卡数 | 分布式工具 |
性能 |
收敛性 |
| :------: | :------:
| :------:
|:------: |
| 96 | Libai-main |
2.27 samples/s |
total_loss: 5.56/1299 iters |
模型
精度
:
| 卡数 | 分布式工具 | 收敛性 |
| :------: | :------: |:------: |
| 96 | Libai-main | total_loss: 5.56/1299 iters |
## 参考
*
https://libai.readthedocs.io/en/latest/tutorials/get_started/quick_run.html
*
https://github.com/Oneflow-Inc/oneflow
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment