datasets.md 5.25 KB
Newer Older
dyning's avatar
dyning committed
1
## 通用中英文OCR数据集
root's avatar
root committed
2
3
4
这里整理了常用中文数据集,持续更新中,欢迎各位小伙伴贡献数据集~
- [ICDAR2019-LSVT](#ICDAR2019-LSVT)
- [ICDAR2017-RCTW-17](#ICDAR2017-RCTW-17)
Yipeng's avatar
Yipeng committed
5
- [中文街景文字识别](#中文街景文字识别)
root's avatar
root committed
6
7
- [中文文档文字识别](#中文文档文字识别)
- [ICDAR2019-ArT](#ICDAR2019-ArT)
8
- [中科院自动化研究所-手写中文数据集](#中科院自动化研究所-手写中文数据集)
root's avatar
root committed
9

MissPenguin's avatar
MissPenguin committed
10
除了开源数据,用户还可使用合成工具自行合成,可参考的合成工具包括[text_renderer](https://github.com/Sanster/text_renderer)[SynthText](https://github.com/ankush-me/SynthText)[SynthText_Chinese_version](https://github.com/JarveeLee/SynthText_Chinese_version)[TextRecognitionDataGenerator](https://github.com/Belval/TextRecognitionDataGenerator)等。
root's avatar
root committed
11
12
13
14

<a name="ICDAR2019-LSVT"></a>
#### 1、ICDAR2019-LSVT
- **数据来源**:https://ai.baidu.com/broad/introduction?dataset=lsvt
MissPenguin's avatar
MissPenguin committed
15
- **数据简介**: 共45w中文街景图像,包含5w(2w测试+3w训练)全标注数据(文本坐标+文本内容),40w弱标注数据(仅文本内容),如下图所示:  
MissPenguin's avatar
MissPenguin committed
16
17
18
19
    ![](../datasets/LSVT_1.jpg)  
    (a) 全标注数据  
    ![](../datasets/LSVT_2.jpg)  
    (b) 弱标注数据  
root's avatar
root committed
20
21
22
23
24
25
- **下载地址**:https://ai.baidu.com/broad/download?dataset=lsvt

<a name="ICDAR2017-RCTW-17"></a>
#### 2、ICDAR2017-RCTW-17
- **数据来源**:https://rctw.vlrlab.net/
- **数据简介**:共包含12,000+图像,大部分图片是通过手机摄像头在野外采集的。有些是截图。这些图片展示了各种各样的场景,包括街景、海报、菜单、室内场景和手机应用程序的截图。
26
    ![](../datasets/rctw.jpg)
root's avatar
root committed
27
28
29
- **下载地址**:https://rctw.vlrlab.net/dataset/

<a name="中文街景文字识别"></a>
Yipeng's avatar
Yipeng committed
30
#### 3、中文街景文字识别 
root's avatar
root committed
31
- **数据来源**:https://aistudio.baidu.com/aistudio/competition/detail/8
MissPenguin's avatar
MissPenguin committed
32
- **数据简介**:ICDAR2019-LSVT行识别任务,共包括29万张图片,其中21万张图片作为训练集(带标注),8万张作为测试集(无标注)。数据集采自中国街景,并由街景图片中的文字行区域(例如店铺标牌、地标等等)截取出来而形成。所有图像都经过一些预处理,将文字区域利用仿射变化,等比映射为一张高为48像素的图片,如图所示:  
33
    ![](../datasets/ch_street_rec_1.png)  
root's avatar
root committed
34
    (a) 标注:魅派集成吊顶  
35
    ![](../datasets/ch_street_rec_2.png)  
root's avatar
root committed
36
    (b) 标注:母婴用品连锁  
root's avatar
root committed
37
38
39
40
41
- **下载地址**
https://aistudio.baidu.com/aistudio/datasetdetail/8429

<a name="中文文档文字识别"></a>
#### 4、中文文档文字识别
root's avatar
root committed
42
43
- **数据来源**:https://github.com/YCG09/chinese_ocr  
- **数据简介**
root's avatar
root committed
44
45
46
47
    - 共约364万张图片,按照99:1划分成训练集和验证集。
    - 数据利用中文语料库(新闻 + 文言文),通过字体、大小、灰度、模糊、透视、拉伸等变化随机生成
    - 包含汉字、英文字母、数字和标点共5990个字符(字符集合:https://github.com/YCG09/chinese_ocr/blob/master/train/char_std_5990.txt )
    - 每个样本固定10个字符,字符随机截取自语料库中的句子
root's avatar
root committed
48
    - 图片分辨率统一为280x32  
49
50
51
    ![](../datasets/ch_doc1.jpg)  
    ![](../datasets/ch_doc2.jpg)  
    ![](../datasets/ch_doc3.jpg)  
root's avatar
root committed
52
53
54
55
56
- **下载地址**:https://pan.baidu.com/s/1QkI7kjah8SPHwOQ40rS1Pw (密码:lu7m)

<a name="ICDAR2019-ArT"></a>
#### 5、ICDAR2019-ArT
- **数据来源**:https://ai.baidu.com/broad/introduction?dataset=art
Yipeng's avatar
Yipeng committed
57
- **数据简介**:共包含10,166张图像,训练集5603图,测试集4563图。由Total-Text、SCUT-CTW1500、Baidu Curved Scene Text (ICDAR2019-LSVT部分弯曲数据) 三部分组成,包含水平、多方向和弯曲等多种形状的文本。
58
59
    ![](../datasets/ArT.jpg)
- **下载地址**:https://ai.baidu.com/broad/download?dataset=art
Yipeng's avatar
Yipeng committed
60

61
62
63
64
65
66
<a name="中科院自动化研究所-手写中文数据集"></a>
#### 6、中科院自动化研究所-手写中文数据集
- **数据来源**:http://www.nlpr.ia.ac.cn/databases/handwriting/Download.html
- **数据简介**:包含在线和离线两类手写单字数据,包含GB2312-80中的3755个一级汉字,共由720人手写完成。在线部分(HWDB)总共包含约210万个训练样本,53万个测试样本;离线部分(OLHWDB)总共包含约210万个训练样本,53万个测试样本。
- **下载地址**:http://www.nlpr.ia.ac.cn/databases/handwriting/Download.html

Yipeng's avatar
Yipeng committed
67
## 参考文献
Yipeng's avatar
Yipeng committed
68
**ICDAR 2019-LSVT Challenge**
Yipeng's avatar
Yipeng committed
69
```
Yipeng's avatar
Yipeng committed
70
71
72
73
74
75
@article{sun2019icdar,
  title={ICDAR 2019 Competition on Large-scale Street View Text with Partial Labeling--RRC-LSVT},
  author={Sun, Yipeng and Ni, Zihan and Chng, Chee-Kheng and Liu, Yuliang and Luo, Canjie and Ng, Chun Chet and Han, Junyu and Ding, Errui and Liu, Jingtuo and Karatzas, Dimosthenis and others},
  journal={arXiv preprint arXiv:1909.07741},
  year={2019}
}
Yipeng's avatar
Yipeng committed
76
```
Yipeng's avatar
Yipeng committed
77

Yipeng's avatar
Yipeng committed
78
**ICDAR 2019-ArT Challenge**
Yipeng's avatar
Yipeng committed
79
```
Yipeng's avatar
Yipeng committed
80
81
82
83
84
85
@article{chng2019icdar2019,
  title={ICDAR2019 Robust Reading Challenge on Arbitrary-Shaped Text (RRC-ArT)},
  author={Chng, Chee-Kheng and Liu, Yuliang and Sun, Yipeng and Ng, Chun Chet and Luo, Canjie and Ni, Zihan and Fang, ChuanMing and Zhang, Shuaitao and Han, Junyu and Ding, Errui and others},
  journal={arXiv preprint arXiv:1909.07145},
  year={2019}
}
Yipeng's avatar
Yipeng committed
86
```