===========================train_params===========================
model_name:gpt2
python:python3.7
gpu_list:0|0,1
--device:gpu|gpu
--use_amp:null
--max_steps:null
null:null
--micro_batch_size:null
null:null
null:null
null:null
null:null
##
trainer:norm_train
norm_train:../examples/language_model/gpt/run_pretrain.py --model_type="gpt" --model_name_or_path="gpt2-en" --save_steps 100000 --decay_steps 320000 --weight_decay 0.01 --warmup_rate 0.01 --grad_clip 1.0 --logging_freq 1 --eval_freq 1000 --device "gpu" --min_lr 0.00001 --max_lr 0.00015 --max_seq_len 1024 --output_dir=./output/ --input_dir=./data/
pact_train:null
fpgm_train:null
distill_train:null
null:null
null:null
##
===========================eval_params=========================== 
eval:null
null:null
##
===========================infer_params===========================
null:null
null:null
norm_export:null
quant_export:null
fpgm_export:null
distill_export:null
export1:null
export2:null
##
infer_model:null
infer_export:null
infer_quant:null
inference:null
null:null
null:null
null:null
null:null
null:null
null:null
null:null
null:null
null:null
null:null
null:null
===========================to_static_train_benchmark_params===========================
to_static_train:--to_static
===========================train_benchmark_params==========================
batch_size:8
fp_items:fp32|fp16
epoch:200
--profiler_options:batch_range=[100,110];state=GPU;tracer_option=Default;profile_path=model.profile  
flags:FLAGS_eager_delete_tensor_gb=0.0;FLAGS_fraction_of_gpu_memory_to_use=0.98;FLAGS_conv_workspace_size_limit=4096
