调整格式

README.md

@@ -117,12 +117,12 @@ NHEADS						注意力机制头数
 SEQ_LEN						最大长度
 SAVE_INTERVAL				保存频率
 
---train-samples				训练样本数
+--train_iters				训练步数
 --eval-interval				验证频率
 --eval-iters				验证iter
 ```
 
-### 性能和收敛性
+### 16B模型性能和收敛性
 
 |   卡数    | 性能（samples per second） | 收敛性lm loss value | 收敛性lm loss PPL |
 | :-------: | :------------------------: | :-----------------: | :---------------: |
@@ -197,7 +197,7 @@ sh run-inf.sh（这里以单节点小模型为例）
 
 ## loss收敛情况
 
-15B模型使用oscar数据集收敛情况如下：
+16B模型使用oscar数据集收敛情况如下：
 
 
 

run-train.sh

@@ -15,7 +15,7 @@ CODECARBON_PATH=output_dir/codecarbon/$MODEL_NAME
 N_GPUS=8
 
 TP_SIZE=4   # always fixed to the size of a single node
-PP_SIZE=2 #128 #96    # NLAYERS must be a multiple of PP_SIZE here
+PP_SIZE=1 #128 #96    # NLAYERS must be a multiple of PP_SIZE here
 
 
 MICRO_BATCH_SIZE=2