Delete readme.bak.md

readme.bak.md

-
-# Bert介绍
-## 应用领域：
-自然语言理解大模型
-## 目标精度
-Mask-LM accuracy 达到0.72
-## 模型基本参数设置
-  "attention_probs_dropout_prob": 0.1,
-  "hidden_act": "gelu",
-  "hidden_dropout_prob": 0.1,
-  "hidden_size": 1024,
-  "initializer_range": 0.02,
-  "intermediate_size": 4096,
-  "max_position_embeddings": 512,
-  "num_attention_heads": 16,
-  "num_hidden_layers": 24,
-  "type_vocab_size": 2,
-  "vocab_size": 30522
-  
-# 测试前准备
-
-## 数据集准备
-
-###  progress bars in model download and training scripts
-boto3==1.14.0
-gdown==3.13.0
-git+https://github.com/mlcommons/logging.git@2.0.0-rc2
-h5py==2.10.0
-html2text==2020.1.16
-ipdb==0.13.2
-nltk==3.5
-onnxruntime==1.3.0
-parameterized
-progressbar==2.5
-requests==2.23.0
-six==1.15.0
-tensorflow==2.2.0
-数据预处理时尽量将所有采用库的版本号对齐，以免出现md5码不一致问题
-参见bert目录下 README.md制作数据
-
-## 环境部署
-
-1、准备dtk 21.04环境
-
-2、Mlperf bert文件夹内包含paddlepaddle_rocm-0.0.0-cp36-cp36m-linux_x86_64.whl
-python3 -m pip install  paddlepaddle_rocm-0.0.0-cp36-cp36m-linux_x86_64.whl
-
-## 安装python依赖包
-
- pip install -r requirements.txt  -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn
-
-# 测试脚本
-## 8卡打开exchange padding测试
-
-cp rundir_8gpu_exchange/* .
-sbatch run_sbatch.sh
-
-## 1024卡大规模并发测试
-
-cp rundir_8gpu_exchange/* .
-sbatch run_sbatch.sh
-
-输出结果见worker.*文件
-
-# 优化测试结果整理
-测试数据存放目录：result.log
-##  扩展性测试
-
-
-| GPU卡数 | 单卡batch_size | gradient_accumulation | 吞吐量（seq/s）       | 并行效率                     |
-|-------|--------------|-----------------------|------------------|--------------------------|
-| 4     | 4            | 1                     | 36.69            | 100%                     |
-| 8     | 4            | 1                     | 65.7             | 89.53%                   |
-| 1024  | 4            | 1                     | 7723.38          | 82.23%                   |
-| 1024  | 8            | 1                     | 9362.93-.9416.84 | 99.6%-100.25%(以单节点4卡为基准） |
-
-##  性能优化测试
-
-| GPU卡数 | 单卡batch_size | gradient_accumulation_steps | global batch size |      |  混精度          | gemm优化       | softmax+softmax_cross_entropy  | distributed_fused_lamb | GeLU近似算法      | exchange padding     | 收敛global_steps | walltime(s) |
-|-------|--------------|-----------------------------|-------------------|------|---------------|--------------|--------------------------------|------------------------|---------------|----------------------|----------------|-------------|
-| 8     | 4            | 14                          | 448               | 优化前： |               | 51.26seq/s   | 85.3seq/s                      | 89.59seq/s             |               | 6697 (global steps)  | 6697           | 32522.67    |
-|       |              |                             |                   | 优化后： | 91.92seq/s    | 85.3seq/s    | 89.59seq/s                     | 91.92seq/s             | 91.92seq/s    |  5692 (global steps) | 5692           |             |
-| 1024  | 4            | 1                           | 4096              | 优化前： | 4458.04seq/s  |              | 7461seq/s                      | 5174.44seq/s           | 7353.08seq/s  | 必须off                | 684            | 369.325     |
-|       |              |                             |                   | 优化后： | 7723.38seq/s  | 5174.44seq/s | 7723.38seq/s                   | 7461seq/s              | 7723.38seq/s  |                      |                |             |
-| 1024  | 8            | 2                           | 16384             | 优化前： | 　---          |              | 10634seq/s                     | 9083seq/s              |               | 必须off                | 794            | 580.618     |
-|       |              |                             |                   | 优化后： | 11330.07seq/s | 9083seq/s    | 11330.07seq/s                  | 10634seq/s             | 11330.07seq/s |