Commit 99839fc8 authored by hepj987's avatar hepj987
Browse files

标准格式

parent 5ad54d77
......@@ -65,15 +65,15 @@ data
[Qwen模型下载](https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main)
## Qwen训练
## 训练
### 训练(单节点
### 单节点
```
bash run-node.sh
```
### 训练(多节点
### 多节点
```
#需要修改对应的节点名、加载对应虚拟环境以及模型路径等,修改hostfile为自己所用的节点
......@@ -82,6 +82,10 @@ sh mpirun-nodes.sh
## result
## 精度
乌镇集群两节点八卡zero3训练
| train | loss |
......@@ -102,6 +106,6 @@ sh mpirun-nodes.sh
https://developer.hpccube.com/codes/modelzoo/qwen-torch
## 参考
## 参考资料
https://github.com/hiyouga/LLaMA-Efficient-Tuning/tree/main
# 模型唯一标识
modelCode=397
# 模型名称
modelName=Qwen_pytorch
modelName=qwen_pytorch
# 模型描述
modelDescription=Qwen是阿里开源的预训练语言表征模型。
# 应用场景
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment