Update llama-factory in README

README.md

@@ -62,8 +62,10 @@ pip install -e .
 ```
 
 ## 训练
+
 ### xtuner微调方法
-1. 训练库安装（非llama3_pytorch目录下），请注意所需库版本
+
+1. 训练库安装（**非llama3_pytorch目录下**），安装版本为**v0.1.18**
 ```bash
 pip uninstall flash-attn # 2.0.4+82379d7.abi0.dtk2404.torch2.1
 # docker环境含有deepspeed的可不进行安装, 需要对照版本是否一致即可
@@ -91,6 +93,41 @@ or
 NPROC_PER_NODE=${DCU_NUM} xtuner train ./llama3_8b_instruct_qlora_alpaca_e3_M.py --deepspeed deepspeed_zero2 --work-dir /path/of/saves
 ```
 
+### Llama Factory 微调方法
+
+1. 训练库安装（**非llama3_pytorch目录下**），安装版本为**v0.6.3**
+```
+git clone -b v0.6.3 http://developer.hpccube.com/codes/OpenDAS/llama-factory.git
+```
+具体安装方法请参考Llama-Factory仓库的README。
+
+2. 通过[预训练权重](#预训练权重)下载预训练模型，当前用例使用[Meta-Llama-3-8B-Instruct](http://113.200.138.88:18080/aimodels/Meta-Llama-3-8B-Instruct)模型；
+
+3. 选择`single_node.sh`启动的，需要确认`single_config.yaml`文件中`num_processes`参数与设置的显卡数量一致。
+
+4. 使用**deepspeed**进行多机多卡训练，需先安装**pdsh**(若已安装可忽略)，保证服务器之间**通讯免密**。
+
+#### 全参微调
+
+```bash
+cd /your_code_path/llama_factory/examples/full_multi_gpu
+```
+
+**参数修改**：
+--model_name_or_path 修改为待训练模型地址，如 /data/Meta-llama3-models/Meta-Llama-3-8B-Instruct
+--dataset 微调训练集名称，可选数据集请参考/LLaMA-Factory-0.6.3/data/dataset_info.json
+--template 将 default 修改为 llama3
+--output_dir 模型保存地址
+--fp16 或 --bf16 开启混合精度，单精度可使用 --pure_bf16
+其他参数如：--learning_rate、--save_steps可根据自身硬件及需求进行修改。
+
+#### lora微调
+
+```bash
+cd /your_code_path/llama_factory/examples/lora_multi_gpu
+```
+参数解释同[#全参微调](#全参微调)
+
 ## 推理
 预训练模型下载
 请参考下面的[预训练权重](#预训练权重)章节，不同的模型需要不同的模型并行(MP)值，如下表所示:

download_models.py

@@ -3,6 +3,6 @@ from modelscope import snapshot_download
 # LLM-Research/Meta-Llama-3-8B、LLM-Research/Meta-Llama-3-8B-Instruct
 # LLM-Research/Meta-Llama-3-70B、LLM-Research/Meta-Llama-3-70B-Instruct
 
-# 下面以 LLM-Research/Meta-Llama-3-8B-Instruct 为例
+# 下面以 LLM-Research/Meta-Llama-3-8B-Instruct 为例, cache_dir修改为保存模型路径
 model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct', cache_dir="/your_model_save_path/")
 print(model_dir)
\ No newline at end of file