微调验证过程如下,系统报错: 使用这个文档(https://developer.hpccube.com/codes/modelzoo/baichuan2_pytorch),自带的lora微调baichuan2-7B的模型过程:
- cd fine-tune
- pip install -r requirements.txt
- 修改了lora_train.sh中模型的路路径
- ./lora_train.sh(执行报错transformers==4.31.0需要deepspeed 0.9.3,自带的是0.9.2,使用pip做了升级)
- 继续执行./lora_train.sh(看日志是开始进行了,中途报错,日志如下)lora_train_1_.log