"docs/vscode:/vscode.git/clone" did not exist on "524535b5f20b2c0987549580ded8706f905a4d37"
Commit b8cbfaa6 authored by liangjing's avatar liangjing
Browse files

Update README.md

parent 90e0cc3e
...@@ -19,7 +19,8 @@ BERT-large包含24个Transformer编码器,每个编码器有1024个隐藏层 ...@@ -19,7 +19,8 @@ BERT-large包含24个Transformer编码器,每个编码器有1024个隐藏层
版本:v2.1 版本:v2.1
原始代码位置:https://github.com/mlcommons/training_results_v2.1/tree/main/Baidu/benchmarks/bert/implementations/8_node_64_A100_PaddlePaddle 原始代码位置:
* https://github.com/mlcommons/training_results_v2.1/tree/main/Baidu/benchmarks/bert/implementations/8_node_64_A100_PaddlePaddle
## 数据集 ## 数据集
模型训练的数据集来自Wikipedia 2020/01/01,即一种常用的自然语言处理数据集,它包含了维基百科上的文章和对应的摘要(即第一段内容),可用于各种文本相关的任务,例如文本分类、文本摘要、命名实体识别等。 模型训练的数据集来自Wikipedia 2020/01/01,即一种常用的自然语言处理数据集,它包含了维基百科上的文章和对应的摘要(即第一段内容),可用于各种文本相关的任务,例如文本分类、文本摘要、命名实体识别等。
...@@ -45,6 +46,13 @@ BERT-large包含24个Transformer编码器,每个编码器有1024个隐藏层 ...@@ -45,6 +46,13 @@ BERT-large包含24个Transformer编码器,每个编码器有1024个隐藏层
python依赖安装: python依赖安装:
pip3 install -r requirement.txt pip3 install -r requirement.txt
### 预训练模型
/workspace/bert_data文件夹存放预训练模型如下:
├── /workpalce/bert_data/phase1
└── └──model.ckpt-28252.tf_pickled #预训练模型
### 训练 ### 训练
训练命令: 训练命令:
...@@ -53,17 +61,12 @@ python依赖安装: ...@@ -53,17 +61,12 @@ python依赖安装:
#不同环境的配置及数据的存放路径会有不同,请根据实际情况进行调整run_benchmark_8gpu.sh脚本中的如下内容: #不同环境的配置及数据的存放路径会有不同,请根据实际情况进行调整run_benchmark_8gpu.sh脚本中的如下内容:
BASE_DATA_DIR=${BASE_DATA_DIR:-"/public/DL_DATA/mlperf/bert"} //调整为具体的数据的路径 BASE_DATA_DIR=${BASE_DATA_DIR:-"/public/DL_DATA/mlperf/bert"} //调整为具体的数据的路径
### 预训练模型
/workspace/bert_data文件夹存放预训练模型如下:
├── /workpalce/bert_data/phase1
└── └──model.ckpt-28252.tf_pickled #预训练模型
## 测试结果 ## 测试结果
采用上述输入数据,加速卡采用Z100L*8,可最终达到官方收敛要求; 采用上述输入数据,加速卡采用Z100L*8,可最终达到官方收敛要求;
## 源码仓库及问题反馈
## 历史版本
* https://developer.hpccube.com/codes/modelzoo/mlperf_bert-large * https://developer.hpccube.com/codes/modelzoo/mlperf_bert-large
## 参考 ## 参考
* https://mlcommons.org/en/ * https://mlcommons.org/en/
* https://github.com/mlcommons * https://github.com/mlcommons
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment