Commit 6c5c2717 authored by chenzk's avatar chenzk
Browse files

v1.0.4

parent 71e79847
Pipeline #2035 canceled with stages
...@@ -127,7 +127,7 @@ return Tokenizer.from_file(name_or_path + "/tokenizer.json") ...@@ -127,7 +127,7 @@ return Tokenizer.from_file(name_or_path + "/tokenizer.json")
## 训练 ## 训练
### 单机多卡 ### 单机多卡
本项目的最大特点是完全开源、营造自由科研环境,项目中的算法、模型读者可自由修改、研发以提出自己的算法来为社会做贡献,但为了方便介绍,本步骤说明以小规模模型tiny llama作为示例: 本项目的最大特点是完全开源、营造自由科研环境,项目中的算法、模型读者可自由修改、研发以提出自己的算法来为社会做贡献,[`llama`](./src/nanotron/models/llama.py)修改模型文件,但为了方便介绍,本步骤说明以小规模模型tiny llama作为示例:
``` ```
cd /home/nanotron cd /home/nanotron
sh train.sh # 不同卡数的训练方式参照train.sh中的说明,完整规模llama3的训练方式可参考train.sh中的说明。 sh train.sh # 不同卡数的训练方式参照train.sh中的说明,完整规模llama3的训练方式可参考train.sh中的说明。
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment