Update lora_train.sh

ptuning/lora_train.sh

@@ -7,7 +7,6 @@ deepspeed main.py \
     --preprocessing_num_workers 10 \
     --prompt_column content \
     --response_column summary \
-    --overwrite_cache \
     --model_name_or_path THUDM/chatglm-6b \
     --output_dir ./output_lora/adgen-chatglm2-6b-lora_version \
     --overwrite_output_dir \
@@ -21,5 +20,6 @@ deepspeed main.py \
     --logging_steps 10 \
     --save_steps 500 \
     --learning_rate 2e-5 \
-    --lora_r 32
+    --lora_r 32 \
+    --fp16