v1.0.4

README.md

@@ -134,7 +134,7 @@ cd /home/allamo
 mkdir /home/data/out-allamo-1B
 
 python train.py --config="./train_configs/train_1B.json"# 或sh train.sh
-# 其它功能正在优化中
+# 其它功能正在优化中，欢迎共同优化和拓展。
 ```
 
 若希望用原始规模的Llama进行预训练，可修改`train_configs/train_1B.json`中的参数获得新模型配置文件，但大规模模型可能显存超过设备容量，需自行调试合适规模，如`Meta-Llama-3.1-8B`的模型参数可参考（本项目要获得Llama系列模型，dropout都设置为0。）：