Commit 99839fc8 authored by hepj987's avatar hepj987
Browse files

标准格式

parent 5ad54d77
...@@ -65,15 +65,15 @@ data ...@@ -65,15 +65,15 @@ data
[Qwen模型下载](https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main) [Qwen模型下载](https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main)
## Qwen训练 ## 训练
### 训练(单节点 ### 单节点
``` ```
bash run-node.sh bash run-node.sh
``` ```
### 训练(多节点 ### 多节点
``` ```
#需要修改对应的节点名、加载对应虚拟环境以及模型路径等,修改hostfile为自己所用的节点 #需要修改对应的节点名、加载对应虚拟环境以及模型路径等,修改hostfile为自己所用的节点
...@@ -82,6 +82,10 @@ sh mpirun-nodes.sh ...@@ -82,6 +82,10 @@ sh mpirun-nodes.sh
## result ## result
## 精度
乌镇集群两节点八卡zero3训练 乌镇集群两节点八卡zero3训练
| train | loss | | train | loss |
...@@ -102,6 +106,6 @@ sh mpirun-nodes.sh ...@@ -102,6 +106,6 @@ sh mpirun-nodes.sh
https://developer.hpccube.com/codes/modelzoo/qwen-torch https://developer.hpccube.com/codes/modelzoo/qwen-torch
## 参考 ## 参考资料
https://github.com/hiyouga/LLaMA-Efficient-Tuning/tree/main https://github.com/hiyouga/LLaMA-Efficient-Tuning/tree/main
# 模型唯一标识 # 模型唯一标识
modelCode=397 modelCode=397
# 模型名称 # 模型名称
modelName=Qwen_pytorch modelName=qwen_pytorch
# 模型描述 # 模型描述
modelDescription=Qwen是阿里开源的预训练语言表征模型。 modelDescription=Qwen是阿里开源的预训练语言表征模型。
# 应用场景 # 应用场景
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment