===========================train_params===========================
model_name:llama
python:python3.7
gpu_list:0|0,1
--device:gpu|gpu
--fp16:null
--max_steps:null
null:null
--per_device_train_batch_size:null
null:null
null:null
null:null
null:null
##
trainer:norm_train
norm_train:../llm/llama/benchmark.py --model_name_or_path facebook/llama-7b-2l --do_train --max_steps 500 --recompute False --overwrite_output_dir --output_dir ./checkpoints/ --fp16_opt_level O2 --learning_rate 3e-5 --warmup_steps 0 --seed 23 --logging_steps 1
pact_train:null
fpgm_train:null
distill_train:null
null:null
null:null
##
===========================eval_params=========================== 
eval:null
null:null
##
===========================infer_params===========================
null:null
null:null
norm_export:null
quant_export:null
fpgm_export:null
distill_export:null
export1:null
export2:null
##
infer_model:null
infer_export:null
infer_quant:null
inference:null
null:null
null:null
null:null
null:null
null:null
null:null
null:null
null:null
null:null
null:null
null:null
===========================to_static_train_benchmark_params===========================
to_static_train:--to_static
===========================train_benchmark_params==========================
batch_size:8
fp_items:fp32|fp16
epoch:500
--profiler_options:batch_range=[10,20];state=GPU;tracer_option=Default;profile_path=model.profile  
flags:FLAGS_eager_delete_tensor_gb=0.0;FLAGS_fraction_of_gpu_memory_to_use=0.98;FLAGS_conv_workspace_size_limit=4096
