===========================train_params===========================
model_name:bert_base_seqlen128
python:python3.7
gpu_list:0|0,1
--device:gpu|gpu
--use_amp:null
--max_steps:null
null:null
--batch_size:null
null:null
null:null
null:null
null:null
##
trainer:norm_train
norm_train:../examples/language_model/bert/run_pretrain.py --max_predictions_per_seq 20 --learning_rate 1e-4 --weight_decay 1e-2 --adam_epsilon 1e-6 --warmup_steps 10000 --output_dir ./tmp2/ --logging_steps 10 --save_steps 20000 --model_type bert --model_name_or_path bert-base-uncased --input_dir ./data/wikicorpus_en_seqlen128 --fuse_transformer true --amp_level O2
pact_train:null
fpgm_train:null
distill_train:null
null:null
null:null
##
===========================eval_params=========================== 
eval:null
null:null
##
===========================infer_params===========================
null:null
null:null
norm_export:null
quant_export:null
fpgm_export:null
distill_export:null
export1:null
export2:null
##
infer_model:null
infer_export:null
infer_quant:null
inference:null
null:null
null:null
null:null
null:null
null:null
null:null
null:null
null:null
null:null
null:null
null:null
===========================to_static_train_benchmark_params===========================
to_static_train:--to_static True
===========================train_benchmark_params==========================
batch_size:32|64|96
fp_items:fp32|fp16
epoch:500
--profiler_options:batch_range=[10,20];state=GPU;tracer_option=Default;profile_path=model.profile  
flags:FLAGS_eager_delete_tensor_gb=0.0;FLAGS_fraction_of_gpu_memory_to_use=0.98;FLAGS_conv_workspace_size_limit=4096
