Skip to content

GitLab

Commit 2f9cfcec authored by hepj987's avatar hepj987
Browse files

调整格式

parent 75e3f49b
Pipeline #364 canceled with stage
Hide whitespace changes
Inline Side-by-side
Showing with 4 additions and 4 deletions
README.md
View file @ 2f9cfcec
...@@ -117,12 +117,12 @@ NHEADS 注意力机制头数 ...@@ -117,12 +117,12 @@ NHEADS 注意力机制头数
SEQ_LEN 最大长度 SEQ_LEN 最大长度
SAVE_INTERVAL 保存频率 SAVE_INTERVAL 保存频率
--train-samples 训练样本数 --train_iters 训练步数
--eval-interval 验证频率 --eval-interval 验证频率
--eval-iters 验证iter --eval-iters 验证iter
``` ```
### 性能和收敛性 ### 16B模型性能和收敛性
| 卡数 | 性能（samples per second） | 收敛性lm loss value | 收敛性lm loss PPL | | 卡数 | 性能（samples per second） | 收敛性lm loss value | 收敛性lm loss PPL |
| :-------: | :------------------------: | :-----------------: | :---------------: | | :-------: | :------------------------: | :-----------------: | :---------------: |
...@@ -197,7 +197,7 @@ sh run-inf.sh（这里以单节点小模型为例） ...@@ -197,7 +197,7 @@ sh run-inf.sh（这里以单节点小模型为例）
## loss收敛情况 ## loss收敛情况
15B模型使用oscar数据集收敛情况如下： 16B模型使用oscar数据集收敛情况如下：
......
run-train.sh
View file @ 2f9cfcec
...@@ -15,7 +15,7 @@ CODECARBON_PATH=output_dir/codecarbon/$MODEL_NAME ...@@ -15,7 +15,7 @@ CODECARBON_PATH=output_dir/codecarbon/$MODEL_NAME
N_GPUS=8 N_GPUS=8
TP_SIZE=4 # always fixed to the size of a single node TP_SIZE=4 # always fixed to the size of a single node
PP_SIZE=2 #128 #96 # NLAYERS must be a multiple of PP_SIZE here PP_SIZE=1 #128 #96 # NLAYERS must be a multiple of PP_SIZE here
MICRO_BATCH_SIZE=2 MICRO_BATCH_SIZE=2
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment