unpdat

README.md

@@ -16,16 +16,7 @@ BERT模型的核心是Transformer编码器，BERT-large是BERT模型的一个更
 
 BERT用大量的无监督文本通过自监督训练的方式训练，把文本中包含的语言知识（包括：词法、语法、语义等特征）以参数的形式编码到Transformer-encoder layer中，即用了Masked LM及Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。
 
-## 目标精度
-
-0.72 Mask-LM accuracy
-
-## MLPerf代码参考版本
-
-版本：v2.1 
-
-原始代码位置：
-* https://github.com/mlcommons/training_results_v2.1/tree/main/Baidu/benchmarks/bert/implementations/8_node_64_A100_PaddlePaddle
+![figure2](bert.png)
 
 ## 环境配置
 
@@ -47,13 +38,6 @@ BERT用大量的无监督文本通过自监督训练的方式训练，把文本
 /root/mlperf-paddle_bert.20220919-training-bert/training/bert
 ```
 
-## 预训练模型
-
-/workspace/bert_data文件夹存放预训练模型如下：
-
-    ├── /workpalce/bert_data/phase1
-    └── └──model.ckpt-28252.tf_pickled #预训练模型 
-
 ## 数据集
 
 模型训练的数据集来自Wikipedia 2020/01/01，即一种常用的自然语言处理数据集，它包含了维基百科上的文章和对应的摘要（即第一段内容），可用于各种文本相关的任务，例如文本分类、文本摘要、命名实体识别等。
@@ -85,7 +69,11 @@ BERT用大量的无监督文本通过自监督训练的方式训练，把文本
     #不同环境的配置及数据的存放路径会有不同，请根据实际情况进行调整run_benchmark_8gpu.sh脚本中的如下内容：
     BASE_DATA_DIR=${BASE_DATA_DIR:-"/public/DL_DATA/mlperf/bert"} //调整为具体的数据的路径
 
-### result
+## result
+
+![dataset](result.png)
+
+## 精度
 
 采用上述输入数据，加速卡采用Z100L * 8，可最终达到官方收敛要求，即达到目标精度0.72 Mask-LM accuracy；
 
@@ -101,7 +89,7 @@ BERT用大量的无监督文本通过自监督训练的方式训练，把文本
 
 ### 热点应用行业
 
-零售、广媒
+零售,广媒
 
 ## 源码仓库及问题反馈
 
@@ -110,3 +98,4 @@ BERT用大量的无监督文本通过自监督训练的方式训练，把文本
 ## 参考
 * https://mlcommons.org/en/
 * https://github.com/mlcommons
+* https://github.com/mlcommons/training_results_v2.1/tree/main/Baidu/benchmarks/bert/implementations/8_node_64_A100_PaddlePaddle

model.properties

@@ -5,7 +5,7 @@ modelName=mlperf_bert_paddle
 # 模型描述
 modelDescription=BERT是一种基于Transformer架构的预训练语言模型
 # 应用场景
-appScenario=训练,NLP
+appScenario=训练,NLP,零售,广媒
 # 框架类型
 frameType=Paddle