Skip to content

GitLab

Commit 6d21ea68 authored by “yuguo”'s avatar “yuguo”
Browse files

update

parent 4ca283bb
Hide whitespace changes
Inline Side-by-side
Showing with 3 additions and 3 deletions
README.md
View file @ 6d21ea68
...@@ -111,7 +111,9 @@ bash mpi_job.sh ...@@ -111,7 +111,9 @@ bash mpi_job.sh
如果单节点运行7B的模型出现oom，可以适当减少batch size。 如果单节点运行7B的模型出现oom，可以适当减少batch size。
## 精度 ## result
### 精度
训练数据：[./FastChat-main/playground/data/alpaca-data-conversation.json](链接) 训练数据：[./FastChat-main/playground/data/alpaca-data-conversation.json](链接)
...@@ -121,8 +123,6 @@ bash mpi_job.sh ...@@ -121,8 +123,6 @@ bash mpi_job.sh
| 卡数 | 分布式工具 | 收敛性 | | 卡数 | 分布式工具 | 收敛性 |
| :------: | :------: |:------: | | :------: | :------: |:------: |
| 16 | deepspeed | total_loss: 0.62/150 steps | | 16 | deepspeed | total_loss: 0.62/150 steps |
## result
### input ### input
```plaintext ```plaintext
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment