Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
MLPerf_BERT_paddle
Commits
b8cbfaa6
Commit
b8cbfaa6
authored
Jun 15, 2023
by
liangjing
Browse files
Update README.md
parent
90e0cc3e
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
11 additions
and
8 deletions
+11
-8
README.md
README.md
+11
-8
No files found.
README.md
View file @
b8cbfaa6
...
...
@@ -19,7 +19,8 @@ BERT-large包含24个Transformer编码器,每个编码器有1024个隐藏层
版本:v2.1
原始代码位置:https://github.com/mlcommons/training_results_v2.1/tree/main/Baidu/benchmarks/bert/implementations/8_node_64_A100_PaddlePaddle
原始代码位置:
*
https://github.com/mlcommons/training_results_v2.1/tree/main/Baidu/benchmarks/bert/implementations/8_node_64_A100_PaddlePaddle
## 数据集
模型训练的数据集来自Wikipedia 2020/01/01,即一种常用的自然语言处理数据集,它包含了维基百科上的文章和对应的摘要(即第一段内容),可用于各种文本相关的任务,例如文本分类、文本摘要、命名实体识别等。
...
...
@@ -45,6 +46,13 @@ BERT-large包含24个Transformer编码器,每个编码器有1024个隐藏层
python依赖安装:
pip3 install -r requirement.txt
### 预训练模型
/workspace/bert_data文件夹存放预训练模型如下:
├── /workpalce/bert_data/phase1
└── └──model.ckpt-28252.tf_pickled #预训练模型
### 训练
训练命令:
...
...
@@ -53,17 +61,12 @@ python依赖安装:
#不同环境的配置及数据的存放路径会有不同,请根据实际情况进行调整run_benchmark_8gpu.sh脚本中的如下内容:
BASE_DATA_DIR=${BASE_DATA_DIR:-"/public/DL_DATA/mlperf/bert"} //调整为具体的数据的路径
### 预训练模型
/workspace/bert_data文件夹存放预训练模型如下:
├── /workpalce/bert_data/phase1
└── └──model.ckpt-28252.tf_pickled #预训练模型
## 测试结果
采用上述输入数据,加速卡采用Z100L
*
8,可最终达到官方收敛要求;
## 历史版本
## 源码仓库及问题反馈
*
https://developer.hpccube.com/codes/modelzoo/mlperf_bert-large
## 参考
*
https://mlcommons.org/en/
*
https://github.com/mlcommons
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment