Commit 254b8d55 authored by dcuai's avatar dcuai
Browse files

Update README.md

parent a29ff9c7
...@@ -112,17 +112,6 @@ bash mpi_job.sh ...@@ -112,17 +112,6 @@ bash mpi_job.sh
如果单节点运行7B的模型出现oom,可以适当减少batch size。 如果单节点运行7B的模型出现oom,可以适当减少batch size。
## result ## result
### 精度
训练数据:[./FastChat-main/playground/data/alpaca-data-conversation.json](链接)
使用的GPGPU:16张DCU-Z100L-32G。
模型精度(max_sequence_length: 2048):
| 卡数 | 分布式工具 | 收敛性 |
| :------: | :------: |:------: |
| 16 | deepspeed | total_loss: 0.62/150 steps |
### input ### input
```plaintext ```plaintext
...@@ -135,11 +124,22 @@ bash mpi_job.sh ...@@ -135,11 +124,22 @@ bash mpi_job.sh
>>>回答:避寒,当然是去海南呀!海南的冬天,阳光明媚,温度适宜,而且空气清新,没有雾霾,没有沙尘暴,没有雾霾,没有雾霾! >>>回答:避寒,当然是去海南呀!海南的冬天,阳光明媚,温度适宜,而且空气清新,没有雾霾,没有沙尘暴,没有雾霾,没有雾霾!
``` ```
### 精度
训练数据:[./FastChat-main/playground/data/alpaca-data-conversation.json](链接)
使用的GPGPU:16张DCU-Z100L-32G。
模型精度(max_sequence_length: 2048):
| 卡数 | 分布式工具 | 收敛性 |
| :------: | :------: |:------: |
| 16 | deepspeed | total_loss: 0.62/150 steps |
## 应用场景 ## 应用场景
### 算法类别 ### 算法类别
`自然语言处理` `对话问答`
### 热点应用行业 ### 热点应用行业
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment