Update qwen1.5_14b.sh

examples/qwen/qwen1.5_14b.sh

@@ -99,6 +99,7 @@ TRAINING_ARGS=(
     --hidden-dropout 0
     # --no-gradient-accumulation-fusion
     --swiglu
+    --add-qkv-bias
     --lr 3.0e-5 
     --lr-decay-style cosine 
     --min-lr 3.0e-6
@@ -249,4 +250,4 @@ case ${LOCAL_RANK} in
   numactl --cpunodebind=7 --membind=7 ${APP}
   # hipprof --hip-trace --trace-off numactl --cpunodebind=0 --membind=0 ${APP}
   ;;
-esac
\ No newline at end of file
+esac