Commit f13e37fd authored by chenzk's avatar chenzk
Browse files

add icon

parent 124d7959
...@@ -49,6 +49,13 @@ pip3 install -e . -i https://mirrors.aliyun.com/pypi/simple ...@@ -49,6 +49,13 @@ pip3 install -e . -i https://mirrors.aliyun.com/pypi/simple
├── bert-base-chinese-vocab ├── bert-base-chinese-vocab
├── gpt2-merges ├── gpt2-merges
└── gpt2-vocab └── gpt2-vocab
训练数据:
- https://oneflow-static.oss-cn-beijing.aliyuncs.com/ci-files/dataset/libai/gpt_dataset/gpt2-merges.txt
- https://oneflow-static.oss-cn-beijing.aliyuncs.com/ci-files/dataset/libai/gpt_dataset/gpt2-vocab.json
数据集快速下载中心:[SCNet AIDatasets](http://113.200.138.88:18080/aidatasets) ,项目中数据集可从快速下载通道下载:[gpt_dataset](http://113.200.138.88:18080/aidatasets/project-dependency/bert-large_oneflow)
## 训练 ## 训练
该预训练脚本运行环境为1节点,4张DCU-Z100-16G。 该预训练脚本运行环境为1节点,4张DCU-Z100-16G。
...@@ -72,8 +79,6 @@ train.dist.pipeline_parallel_size = 1 ...@@ -72,8 +79,6 @@ train.dist.pipeline_parallel_size = 1
### 精度 ### 精度
训练数据:[https://oneflow-static.oss-cn-beijing.aliyuncs.com/ci-files/dataset/libai/gpt_dataset](链接)
使用的GPGPU:4张DCU-Z100-16G。 使用的GPGPU:4张DCU-Z100-16G。
模型精度: 模型精度:
...@@ -86,7 +91,7 @@ train.dist.pipeline_parallel_size = 1 ...@@ -86,7 +91,7 @@ train.dist.pipeline_parallel_size = 1
### 算法类别 ### 算法类别
`自然语言处理` `对话问答`
### 热点应用行业 ### 热点应用行业
......
icon.png

53.8 KB

Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment