# Pretrain数据预处理
python3 pretrain_data_process.py \
    --model_name_or_path ./Llama-2-7b-hf \
    --data_path ./opensource_final \
    --save_dir data/FinCorpus_tokenized \
    --max_length 4096 \
    --num_proc 128