recognition.md 23.9 KB
Newer Older
tink2123's avatar
tink2123 committed
1
# 文字识别
tink2123's avatar
tink2123 committed
2

tink2123's avatar
tink2123 committed
3
本文提供了PaddleOCR文本识别任务的全流程指南,包括数据准备、模型训练、调优、评估、预测,各个阶段的详细说明:
WenmuZhou's avatar
WenmuZhou committed
4

andyjpaddle's avatar
andyjpaddle committed
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
- [1. 数据准备](#1-数据准备)
  * [1.1 自定义数据集](#11-自定义数据集)
  * [1.2 数据下载](#12-数据下载)
  * [1.3 字典](#13-字典)
  * [1.4 添加空格类别](#14-添加空格类别)
  * [1.5 数据增强](#15-数据增强)
- [2. 开始训练](#2-开始训练)
  * [2.1 启动训练](#21-----)
  * [2.2 断点训练](#22-----)
  * [2.3 更换Backbone 训练](#23---backbone---)
  * [2.4 混合精度训练](#24---amp---)
  * [2.5 分布式训练](#25---fleet---)
  * [2.6 知识蒸馏训练](#26---distill---)
  * [2.7 多语言模型训练](#27-多语言模型训练)
  * [2.8 其他训练环境(Windows/macOS/Linux DCU)](#28---other---)
- [3. 模型评估与预测](#3--------)
  * [3.1 指标评估](#31-----)
  * [3.2 测试识别效果](#32-------)
- [4. 模型导出与预测](#4--------)
- [5. FAQ](#5-faq)


<a name="1-数据准备"></a>
# 1. 数据准备
tink2123's avatar
tink2123 committed
29

WenmuZhou's avatar
WenmuZhou committed
30
### 1.1 准备数据集
tink2123's avatar
tink2123 committed
31

WenmuZhou's avatar
WenmuZhou committed
32
PaddleOCR 支持两种数据格式:
tink2123's avatar
tink2123 committed
33
34
 - `lmdb` 用于训练以lmdb格式存储的数据集(LMDBDataSet);
 - `通用数据` 用于训练以文本文件存储的数据集(SimpleDataSet);
tink2123's avatar
tink2123 committed
35
36
37
38

训练数据的默认存储路径是 `PaddleOCR/train_data`,如果您的磁盘上已有数据集,只需创建软链接至数据集目录:

```
WenmuZhou's avatar
WenmuZhou committed
39
# linux and mac os
40
ln -sf <path/to/dataset> <path/to/paddle_ocr>/train_data/dataset
WenmuZhou's avatar
WenmuZhou committed
41
42
# windows
mklink /d <path/to/paddle_ocr>/train_data/dataset <path/to/dataset>
tink2123's avatar
tink2123 committed
43
44
```

andyjpaddle's avatar
andyjpaddle committed
45
46
<a name="11-自定义数据集"></a>
## 1.1 自定义数据集
WenmuZhou's avatar
WenmuZhou committed
47
下面以通用数据集为例, 介绍如何准备数据集:
tink2123's avatar
tink2123 committed
48

WenmuZhou's avatar
WenmuZhou committed
49
* 训练集
tink2123's avatar
tink2123 committed
50

WenmuZhou's avatar
WenmuZhou committed
51
建议将训练图片放入同一个文件夹,并用一个txt文件(rec_gt_train.txt)记录图片路径和标签,txt文件里的内容如下:
WenmuZhou's avatar
WenmuZhou committed
52

WenmuZhou's avatar
WenmuZhou committed
53
**注意:** txt文件中默认请将图片路径和图片标签用 \t 分割,如用其他方式分割将造成训练报错。
tink2123's avatar
tink2123 committed
54

WenmuZhou's avatar
WenmuZhou committed
55
56
```
" 图像文件名                 图像标注信息 "
tink2123's avatar
tink2123 committed
57

WenmuZhou's avatar
WenmuZhou committed
58
59
train_data/rec/train/word_001.jpg   简单可依赖
train_data/rec/train/word_002.jpg   用科技让复杂的世界更简单
WenmuZhou's avatar
WenmuZhou committed
60
61
...
```
tink2123's avatar
tink2123 committed
62

WenmuZhou's avatar
WenmuZhou committed
63
64
65
最终训练集应有如下文件结构:
```
|-train_data
WenmuZhou's avatar
WenmuZhou committed
66
  |-rec
WenmuZhou's avatar
WenmuZhou committed
67
68
69
70
71
72
    |- rec_gt_train.txt
    |- train
        |- word_001.png
        |- word_002.jpg
        |- word_003.jpg
        | ...
tink2123's avatar
tink2123 committed
73
74
```

75
76
77
78
79
80
81
82
83
84
85
除上述单张图像为一行格式之外,PaddleOCR也支持对离线增广后的数据进行训练,为了防止相同样本在同一个batch中被多次采样,我们可以将相同标签对应的图片路径写在一行中,以列表的形式给出,在训练中,PaddleOCR会随机选择列表中的一张图片进行训练。对应地,标注文件的格式如下。

```
["11.jpg", "12.jpg"]   简单可依赖
["21.jpg", "22.jpg", "23.jpg"]   用科技让复杂的世界更简单
3.jpg   ocr
```

上述示例标注文件中,"11.jpg"和"12.jpg"的标签相同,都是`简单可依赖`,在训练的时候,对于该行标注,会随机选择其中的一张图片进行训练。


iterhui's avatar
iterhui committed
86
- 验证集
WenmuZhou's avatar
WenmuZhou committed
87

iterhui's avatar
iterhui committed
88
同训练集类似,验证集也需要提供一个包含所有图片的文件夹(test)和一个rec_gt_test.txt,验证集的结构如下所示:
WenmuZhou's avatar
WenmuZhou committed
89
90
91

```
|-train_data
WenmuZhou's avatar
WenmuZhou committed
92
  |-rec
WenmuZhou's avatar
WenmuZhou committed
93
94
95
96
97
98
    |- rec_gt_test.txt
    |- test
        |- word_001.jpg
        |- word_002.jpg
        |- word_003.jpg
        | ...
tink2123's avatar
tink2123 committed
99
```
WenmuZhou's avatar
WenmuZhou committed
100

andyjpaddle's avatar
andyjpaddle committed
101
102
<a name="12-数据下载"></a>
## 1.2 数据下载
WenmuZhou's avatar
WenmuZhou committed
103

tink2123's avatar
tink2123 committed
104
- ICDAR2015
WenmuZhou's avatar
WenmuZhou committed
105

tink2123's avatar
tink2123 committed
106
若您本地没有数据集,可以在官网下载 [ICDAR2015](http://rrc.cvc.uab.es/?ch=4&com=downloads) 数据,用于快速验证。也可以参考[DTRB](https://github.com/clovaai/deep-text-recognition-benchmark#download-lmdb-dataset-for-traininig-and-evaluation-from-here) ,下载 benchmark 所需的lmdb格式数据集。
tink2123's avatar
fix doc  
tink2123 committed
107

108
109
如果希望复现SAR的论文指标,需要下载[SynthAdd](https://pan.baidu.com/share/init?surl=uV0LtoNmcxbO-0YA7Ch4dg), 提取码:627x。此外,真实数据集icdar2013, icdar2015, cocotext, IIIT5也作为训练数据的一部分。具体数据细节可以参考论文SAR。

tink2123's avatar
tink2123 committed
110
如果你使用的是icdar2015的公开数据集,PaddleOCR 提供了一份用于训练 ICDAR2015 数据集的标签文件,通过以下方式下载:
111

tink2123's avatar
fix doc  
tink2123 committed
112
113
114
115
```
# 训练集标签
wget -P ./train_data/ic15_data  https://paddleocr.bj.bcebos.com/dataset/rec_gt_train.txt
# 测试集标签
tink2123's avatar
tink2123 committed
116
wget -P ./train_data/ic15_data  https://paddleocr.bj.bcebos.com/dataset/rec_gt_test.txt
tink2123's avatar
fix doc  
tink2123 committed
117
```
tink2123's avatar
tink2123 committed
118

tink2123's avatar
tink2123 committed
119
PaddleOCR 也提供了数据格式转换脚本,可以将ICDAR官网 label 转换为PaddleOCR支持的数据格式。 数据转换工具在 `ppocr/utils/gen_label.py`, 这里以训练集为例:
WenmuZhou's avatar
WenmuZhou committed
120
121
122
123
124
125

```
# 将官网下载的标签文件转换为 rec_gt_label.txt
python gen_label.py --mode="rec" --input_path="{path/of/origin/label}" --output_label="rec_gt_label.txt"
```

tink2123's avatar
tink2123 committed
126
127
128
129
130
131
132
133
134
135
数据样式格式如下,(a)为原始图片,(b)为每张图片对应的 Ground Truth 文本文件:
![](../datasets/icdar_rec.png)

- 多语言数据集

多语言模型的训练数据集均为100w的合成数据,使用了开源合成工具 [text_renderer](https://github.com/Sanster/text_renderer) ,少量的字体可以通过下面两种方式下载。
* [百度网盘](https://pan.baidu.com/s/1bS_u207Rm7YbY33wOECKDA) 提取码:frgi
* [google drive](https://drive.google.com/file/d/18cSWX7wXSy4G0tbKJ0d9PuIaiwRLHpjA/view)


andyjpaddle's avatar
andyjpaddle committed
136
137
<a name="13-字典"></a>
## 1.3 字典
tink2123's avatar
tink2123 committed
138
139
140

最后需要提供一个字典({word_dict_name}.txt),使模型在训练时,可以将所有出现的字符映射为字典的索引。

tink2123's avatar
tink2123 committed
141
因此字典需要包含所有希望被正确识别的字符,{word_dict_name}.txt需要写成如下格式,并以 `utf-8` 编码格式保存:
tink2123's avatar
tink2123 committed
142

tink2123's avatar
tink2123 committed
143
144
```
l
tink2123's avatar
tink2123 committed
145
146
d
a
tink2123's avatar
tink2123 committed
147
148
d
r
tink2123's avatar
tink2123 committed
149
n
tink2123's avatar
tink2123 committed
150
```
tink2123's avatar
tink2123 committed
151
152
153

word_dict.txt 每行有一个单字,将字符与数字索引映射在一起,“and” 将被映射成 [2 5 1]

WenmuZhou's avatar
WenmuZhou committed
154
155
156
157
* 内置字典

PaddleOCR内置了一部分字典,可以按需使用。

tink2123's avatar
tink2123 committed
158
`ppocr/utils/ppocr_keys_v1.txt` 是一个包含6623个字符的中文字典
WenmuZhou's avatar
WenmuZhou committed
159

tink2123's avatar
tink2123 committed
160
`ppocr/utils/ic15_dict.txt` 是一个包含36个字符的英文字典
WenmuZhou's avatar
WenmuZhou committed
161
162
163

`ppocr/utils/dict/french_dict.txt` 是一个包含118个字符的法文字典

164
`ppocr/utils/dict/japan_dict.txt` 是一个包含4399个字符的日文字典
WenmuZhou's avatar
WenmuZhou committed
165

166
`ppocr/utils/dict/korean_dict.txt` 是一个包含3636个字符的韩文字典
WenmuZhou's avatar
WenmuZhou committed
167

168
`ppocr/utils/dict/german_dict.txt` 是一个包含131个字符的德文字典
WenmuZhou's avatar
WenmuZhou committed
169

tink2123's avatar
tink2123 committed
170
`ppocr/utils/en_dict.txt` 是一个包含96个字符的英文字典
tink2123's avatar
tink2123 committed
171

WenmuZhou's avatar
WenmuZhou committed
172
目前的多语言模型仍处在demo阶段,会持续优化模型并补充语种,**非常欢迎您为我们提供其他语言的字典和字体**
littletomatodonkey's avatar
fix doc  
littletomatodonkey committed
173
如您愿意可将字典文件提交至 [dict](../../ppocr/utils/dict),我们会在Repo中感谢您。
WenmuZhou's avatar
WenmuZhou committed
174

tink2123's avatar
tink2123 committed
175
- 自定义字典
tink2123's avatar
tink2123 committed
176

tink2123's avatar
tink2123 committed
177
178
如需自定义dic文件,请在 `configs/rec/rec_icdar15_train.yml` 中添加 `character_dict_path` 字段, 指向您的字典路径。

WenmuZhou's avatar
WenmuZhou committed
179
<a name="支持空格"></a>
andyjpaddle's avatar
andyjpaddle committed
180
## 1.4 添加空格类别
tink2123's avatar
tink2123 committed
181

xmy0916's avatar
xmy0916 committed
182
如果希望支持识别"空格"类别, 请将yml文件中的 `use_space_char` 字段设置为 `True`
tink2123's avatar
tink2123 committed
183

tink2123's avatar
tink2123 committed
184
<a name="数据增强"></a>
andyjpaddle's avatar
andyjpaddle committed
185
## 1.5 数据增强
tink2123's avatar
tink2123 committed
186
187
188
189
190
191
192
193
194

PaddleOCR提供了多种数据增强方式,默认配置文件中已经添加了数据增广。

默认的扰动方式有:颜色空间转换(cvtColor)、模糊(blur)、抖动(jitter)、噪声(Gasuss noise)、随机切割(random crop)、透视(perspective)、颜色反转(reverse)、TIA数据增广。

训练过程中每种扰动方式以40%的概率被选择,具体代码实现请参考:[rec_img_aug.py](../../ppocr/data/imaug/rec_img_aug.py)

*由于OpenCV的兼容性问题,扰动操作暂时只支持Linux*

andyjpaddle's avatar
andyjpaddle committed
195
196
<a name="开始训练"></a>
# 2. 开始训练
tink2123's avatar
tink2123 committed
197

tink2123's avatar
tink2123 committed
198
PaddleOCR提供了训练脚本、评估脚本和预测脚本,本节将以 CRNN 识别模型为例:
tink2123's avatar
tink2123 committed
199

andyjpaddle's avatar
andyjpaddle committed
200
201
202
<a name="启动训练"></a>
## 2.1 启动训练

tink2123's avatar
tink2123 committed
203
首先下载pretrain model,您可以下载训练好的模型在 icdar2015 数据上进行finetune
tink2123's avatar
tink2123 committed
204
205

```
tink2123's avatar
tink2123 committed
206
207
cd PaddleOCR/
# 下载MobileNetV3的预训练模型
tink2123's avatar
tink2123 committed
208
wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/dygraph_v2.0/en/rec_mv3_none_bilstm_ctc_v2.0_train.tar
tink2123's avatar
tink2123 committed
209
210
# 解压模型参数
cd pretrain_models
tink2123's avatar
tink2123 committed
211
tar -xf rec_mv3_none_bilstm_ctc_v2.0_train.tar && rm -rf rec_mv3_none_bilstm_ctc_v2.0_train.tar
tink2123's avatar
tink2123 committed
212
213
214
215
```

开始训练:

tink2123's avatar
tink2123 committed
216
217
*如果您安装的是cpu版本,请将配置文件中的 `use_gpu` 字段修改为false*

tink2123's avatar
tink2123 committed
218
```
tink2123's avatar
tink2123 committed
219
# GPU训练 支持单卡,多卡训练
tink2123's avatar
tink2123 committed
220
# 训练icdar15英文数据 训练日志会自动保存为 "{save_model_dir}" 下的train.log
tink2123's avatar
tink2123 committed
221

tink2123's avatar
tink2123 committed
222
223
#单卡训练(训练周期长,不建议)
python3 tools/train.py -c configs/rec/rec_icdar15_train.yml
tink2123's avatar
tink2123 committed
224

tink2123's avatar
tink2123 committed
225
226
227
#多卡训练,通过--gpus参数指定卡号
python3 -m paddle.distributed.launch --gpus '0,1,2,3'  tools/train.py -c configs/rec/rec_icdar15_train.yml
```
tink2123's avatar
tink2123 committed
228
229


tink2123's avatar
tink2123 committed
230
PaddleOCR支持训练和评估交替进行, 可以在 `configs/rec/rec_icdar15_train.yml` 中修改 `eval_batch_step` 设置评估频率,默认每500个iter评估一次。评估过程中默认将最佳acc模型,保存为 `output/rec_CRNN/best_accuracy`
tink2123's avatar
tink2123 committed
231
232
233

如果验证集很大,测试将会比较耗时,建议减少评估次数,或训练完再进行评估。

MissPenguin's avatar
MissPenguin committed
234
**提示:** 可通过 -c 参数选择 `configs/rec/` 路径下的多种模型配置进行训练,PaddleOCR支持的识别算法有:
tink2123's avatar
tink2123 committed
235
236
237
238


| 配置文件 |  算法名称 |   backbone |   trans   |   seq      |     pred     |
| :--------: |  :-------:   | :-------:  |   :-------:   |   :-----:   |  :-----:   |
xmy0916's avatar
xmy0916 committed
239
240
| [rec_chinese_lite_train_v2.0.yml](../../configs/rec/ch_ppocr_v2.0/rec_chinese_lite_train_v2.0.yml) |  CRNN |   Mobilenet_v3 small 0.5 |  None   |  BiLSTM |  ctc  |
| [rec_chinese_common_train_v2.0.yml](../../configs/rec/ch_ppocr_v2.0/rec_chinese_common_train_v2.0.yml) |  CRNN | ResNet34_vd |  None   |  BiLSTM |  ctc  |
tink2123's avatar
tink2123 committed
241
242
243
244
245
| rec_icdar15_train.yml |  CRNN |   Mobilenet_v3 large 0.5 |  None   |  BiLSTM |  ctc  |
| rec_mv3_none_bilstm_ctc.yml |  CRNN |   Mobilenet_v3 large 0.5 |  None   |  BiLSTM |  ctc  |
| rec_mv3_none_none_ctc.yml |  Rosetta |   Mobilenet_v3 large 0.5 |  None   |  None |  ctc  |
| rec_r34_vd_none_bilstm_ctc.yml |  CRNN |   Resnet34_vd |  None   |  BiLSTM |  ctc  |
| rec_r34_vd_none_none_ctc.yml |  Rosetta |   Resnet34_vd |  None   |  None |  ctc  |
LDOUBLEV's avatar
LDOUBLEV committed
246
247
| rec_mv3_tps_bilstm_att.yml |  CRNN |   Mobilenet_v3 |  TPS   |  BiLSTM |  att  |
| rec_r34_vd_tps_bilstm_att.yml |  CRNN |   Resnet34_vd |  TPS   |  BiLSTM |  att  |
tink2123's avatar
tink2123 committed
248
| rec_r50fpn_vd_none_srn.yml    | SRN | Resnet50_fpn_vd    | None    | rnn | srn |
Topdu's avatar
Topdu committed
249
| rec_mtb_nrtr.yml    | NRTR | nrtr_mtb    | None    | transformer encoder | transformer decoder |
andyjpaddle's avatar
andyjpaddle committed
250
| rec_r31_sar.yml               | SAR | ResNet31 | None | LSTM encoder | LSTM decoder |
tink2123's avatar
tink2123 committed
251
252
| rec_resnet_stn_bilstm_att.yml | SEED | Aster_Resnet | STN | BiLSTM | att |

tink2123's avatar
tink2123 committed
253
254
255
256
*其中SEED模型需要额外加载FastText训练好的[语言模型](https://dl.fbaipublicfiles.com/fasttext/vectors-crawl/cc.en.300.bin.gz) ,并且安装 fasttext 依赖:
```
python3.7 -m pip install fasttext==0.9.1
```
tink2123's avatar
tink2123 committed
257

xmy0916's avatar
xmy0916 committed
258
训练中文数据,推荐使用[rec_chinese_lite_train_v2.0.yml](../../configs/rec/ch_ppocr_v2.0/rec_chinese_lite_train_v2.0.yml),如您希望尝试其他算法在中文数据集上的效果,请参考下列说明修改配置文件:
tink2123's avatar
tink2123 committed
259

xmy0916's avatar
xmy0916 committed
260
`rec_chinese_lite_train_v2.0.yml` 为例:
tink2123's avatar
tink2123 committed
261
262
263
```
Global:
  ...
xmy0916's avatar
xmy0916 committed
264
265
  # 添加自定义字典,如修改字典请将路径指向新字典
  character_dict_path: ppocr/utils/ppocr_keys_v1.txt
tink2123's avatar
tink2123 committed
266
  ...
xmy0916's avatar
xmy0916 committed
267
  # 识别空格
xmy0916's avatar
xmy0916 committed
268
  use_space_char: True
tink2123's avatar
tink2123 committed
269

270
271
272
273

Optimizer:
  ...
  # 添加学习率衰减策略
xmy0916's avatar
xmy0916 committed
274
275
276
277
278
279
280
281
282
  lr:
    name: Cosine
    learning_rate: 0.001
  ...

...

Train:
  dataset:
MissPenguin's avatar
MissPenguin committed
283
    # 数据集格式,支持LMDBDataSet以及SimpleDataSet
xmy0916's avatar
xmy0916 committed
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
    name: SimpleDataSet
    # 数据集路径
    data_dir: ./train_data/
    # 训练集标签文件
    label_file_list: ["./train_data/train_list.txt"]
    transforms:
      ...
      - RecResizeImg:
          # 修改 image_shape 以适应长文本
          image_shape: [3, 32, 320]
      ...
  loader:
    ...
    # 单卡训练的batch_size
    batch_size_per_card: 256
    ...

Eval:
  dataset:
MissPenguin's avatar
MissPenguin committed
303
    # 数据集格式,支持LMDBDataSet以及SimpleDataSet
xmy0916's avatar
xmy0916 committed
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
    name: SimpleDataSet
    # 数据集路径
    data_dir: ./train_data
    # 验证集标签文件
    label_file_list: ["./train_data/val_list.txt"]
    transforms:
      ...
      - RecResizeImg:
          # 修改 image_shape 以适应长文本
          image_shape: [3, 32, 320]
      ...
  loader:
    # 单卡验证的batch_size
    batch_size_per_card: 256
    ...
tink2123's avatar
tink2123 committed
319
```
tink2123's avatar
tink2123 committed
320
**注意,预测/评估时的配置文件请务必与训练一致。**
tink2123's avatar
tink2123 committed
321

andyjpaddle's avatar
andyjpaddle committed
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411

<a name="断点训练"></a>
## 2.2 断点训练

如果训练程序中断,如果希望加载训练中断的模型从而恢复训练,可以通过指定Global.checkpoints指定要加载的模型路径:
```shell
python3 tools/train.py -c configs/rec/rec_icdar15_train.yml -o Global.checkpoints=./your/trained/model
```

**注意**`Global.checkpoints`的优先级高于`Global.pretrained_model`的优先级,即同时指定两个参数时,优先加载`Global.checkpoints`指定的模型,如果`Global.checkpoints`指定的模型路径有误,会加载`Global.pretrained_model`指定的模型。

<a name="23---backbone---"></a>
## 2.3 更换Backbone 训练

PaddleOCR将网络划分为四部分,分别在[ppocr/modeling](../../ppocr/modeling)下。 进入网络的数据将按照顺序(transforms->backbones->necks->heads)依次通过这四个部分。

```bash
├── architectures # 网络的组网代码
├── transforms    # 网络的图像变换模块
├── backbones     # 网络的特征提取模块
├── necks         # 网络的特征增强模块
└── heads         # 网络的输出模块
```
如果要更换的Backbone 在PaddleOCR中有对应实现,直接修改配置yml文件中`Backbone`部分的参数即可。

如果要使用新的Backbone,更换backbones的例子如下:

1.[ppocr/modeling/backbones](../../ppocr/modeling/backbones) 文件夹下新建文件,如my_backbone.py。
2. 在 my_backbone.py 文件内添加相关代码,示例代码如下:

```python
import paddle
import paddle.nn as nn
import paddle.nn.functional as F


class MyBackbone(nn.Layer):
    def __init__(self, *args, **kwargs):
        super(MyBackbone, self).__init__()
        # your init code
        self.conv = nn.xxxx

    def forward(self, inputs):
        # your network forward
        y = self.conv(inputs)
        return y
```

3.[ppocr/modeling/backbones/\__init\__.py](../../ppocr/modeling/backbones/__init__.py)文件内导入添加的`MyBackbone`模块,然后修改配置文件中Backbone进行配置即可使用,格式如下:

```yaml
Backbone:
name: MyBackbone
args1: args1
```

**注意**:如果要更换网络的其他模块,可以参考[文档](./add_new_algorithm.md)

<a name="24---amp---"></a>
## 2.4 混合精度训练

如果您想进一步加快训练速度,可以使用[自动混合精度训练](https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/01_paddle2.0_introduction/basic_concept/amp_cn.html), 以单机单卡为例,命令如下:

```shell
python3 tools/train.py -c configs/rec/rec_icdar15_train.yml \
     -o Global.pretrained_model=./pretrain_models/rec_mv3_none_bilstm_ctc_v2.0_train \
     Global.use_amp=True Global.scale_loss=1024.0 Global.use_dynamic_loss_scaling=True
 ```

<a name="26---fleet---"></a>
## 2.5 分布式训练

多机多卡训练时,通过 `--ips` 参数设置使用的机器IP地址,通过 `--gpus` 参数设置使用的GPU ID:

```bash
python3 -m paddle.distributed.launch --ips="xx.xx.xx.xx,xx.xx.xx.xx" --gpus '0,1,2,3' tools/train.py -c configs/rec/rec_icdar15_train.yml \
     -o Global.pretrained_model=./pretrain_models/rec_mv3_none_bilstm_ctc_v2.0_train
```

**注意:** 采用多机多卡训练时,需要替换上面命令中的ips值为您机器的地址,机器之间需要能够相互ping通。另外,训练时需要在多个机器上分别启动命令。查看机器ip地址的命令为`ifconfig`。


<a name="26---distill---"></a>
## 2.6 知识蒸馏训练

PaddleOCR支持了基于知识蒸馏的文本识别模型训练过程,更多内容可以参考[知识蒸馏说明文档](./knowledge_distillation.md)。


<a name="27-多语言模型训练"></a>
## 2.7 多语言模型训练
WenmuZhou's avatar
WenmuZhou committed
412

tink2123's avatar
tink2123 committed
413
PaddleOCR目前已支持80种(除中文外)语种识别,`configs/rec/multi_languages` 路径下提供了一个多语言的配置文件模版: [rec_multi_language_lite_train.yml](../../configs/rec/multi_language/rec_multi_language_lite_train.yml)。
tink2123's avatar
tink2123 committed
414

tink2123's avatar
tink2123 committed
415
按语系划分,目前PaddleOCR支持的语种有:
tink2123's avatar
tink2123 committed
416

tink2123's avatar
tink2123 committed
417
418
419
420
421
422
423
424
425
426
427
428
| 配置文件 |  算法名称 |   backbone |   trans   |   seq      |     pred     |  language |
| :--------: |  :-------:   | :-------:  |   :-------:   |   :-----:   |  :-----:   | :-----:  |
| rec_chinese_cht_lite_train.yml |  CRNN |   Mobilenet_v3 small 0.5 |  None   |  BiLSTM |  ctc  | 中文繁体  |
| rec_en_lite_train.yml |  CRNN |   Mobilenet_v3 small 0.5 |  None   |  BiLSTM |  ctc  | 英语(区分大小写)   |
| rec_french_lite_train.yml |  CRNN |   Mobilenet_v3 small 0.5 |  None   |  BiLSTM |  ctc  | 法语 |  
| rec_ger_lite_train.yml |  CRNN |   Mobilenet_v3 small 0.5 |  None   |  BiLSTM |  ctc  | 德语   |
| rec_japan_lite_train.yml |  CRNN |   Mobilenet_v3 small 0.5 |  None   |  BiLSTM |  ctc  | 日语  |
| rec_korean_lite_train.yml |  CRNN |   Mobilenet_v3 small 0.5 |  None   |  BiLSTM |  ctc  | 韩语  |
| rec_latin_lite_train.yml |  CRNN |   Mobilenet_v3 small 0.5 |  None   |  BiLSTM |  ctc  | 拉丁字母  |
| rec_arabic_lite_train.yml |  CRNN |   Mobilenet_v3 small 0.5 |  None   |  BiLSTM |  ctc  | 阿拉伯字母 |
| rec_cyrillic_lite_train.yml |  CRNN |   Mobilenet_v3 small 0.5 |  None   |  BiLSTM |  ctc  | 斯拉夫字母  |
| rec_devanagari_lite_train.yml |  CRNN |   Mobilenet_v3 small 0.5 |  None   |  BiLSTM |  ctc  | 梵文字母  |
tink2123's avatar
tink2123 committed
429
430

更多支持语种请参考: [多语言模型](https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.1/doc/doc_ch/multi_languages.md#%E8%AF%AD%E7%A7%8D%E7%BC%A9%E5%86%99)
WenmuZhou's avatar
WenmuZhou committed
431
432
433
434
435
436
437
438
439
440

如您希望在现有模型效果的基础上调优,请参考下列说明修改配置文件:

以 `rec_french_lite_train` 为例:
```
Global:
  ...
  # 添加自定义字典,如修改字典请将路径指向新字典
  character_dict_path: ./ppocr/utils/dict/french_dict.txt
  ...
xmy0916's avatar
xmy0916 committed
441
  # 识别空格
xmy0916's avatar
xmy0916 committed
442
  use_space_char: True
WenmuZhou's avatar
WenmuZhou committed
443
444

...
xmy0916's avatar
xmy0916 committed
445
446
447

Train:
  dataset:
MissPenguin's avatar
MissPenguin committed
448
    # 数据集格式,支持LMDBDataSet以及SimpleDataSet
xmy0916's avatar
xmy0916 committed
449
450
451
452
453
454
455
456
457
    name: SimpleDataSet
    # 数据集路径
    data_dir: ./train_data/
    # 训练集标签文件
    label_file_list: ["./train_data/french_train.txt"]
    ...

Eval:
  dataset:
MissPenguin's avatar
MissPenguin committed
458
    # 数据集格式,支持LMDBDataSet以及SimpleDataSet
xmy0916's avatar
xmy0916 committed
459
460
461
462
463
464
    name: SimpleDataSet
    # 数据集路径
    data_dir: ./train_data
    # 验证集标签文件
    label_file_list: ["./train_data/french_val.txt"]
    ...
WenmuZhou's avatar
WenmuZhou committed
465
```
466

andyjpaddle's avatar
andyjpaddle committed
467
468
<a name="28---other---"></a>
## 2.8 其他训练环境
469

andyjpaddle's avatar
andyjpaddle committed
470
471
472
473
474
475
476
477
478
479
- Windows GPU/CPU
在Windows平台上与Linux平台略有不同:
Windows平台只支持`单卡`的训练与预测,指定GPU进行训练`set CUDA_VISIBLE_DEVICES=0`
在Windows平台,DataLoader只支持单进程模式,因此需要设置 `num_workers` 为0;

- macOS
不支持GPU模式,需要在配置文件中设置`use_gpu`为False,其余训练评估预测命令与Linux GPU完全相同。

- Linux DCU
DCU设备上运行需要设置环境变量 `export HIP_VISIBLE_DEVICES=0,1,2,3`,其余训练评估预测命令与Linux GPU完全相同。
480
481


andyjpaddle's avatar
andyjpaddle committed
482
483
<a name="3--------"></a>
# 3. 模型评估与预测
tink2123's avatar
tink2123 committed
484

andyjpaddle's avatar
andyjpaddle committed
485
486
487
488
<a name="31-----"></a>
## 3.1 指标评估

训练中模型参数默认保存在`Global.save_model_dir`目录下。在评估指标时,需要设置`Global.checkpoints`指向保存的参数文件。评估数据集可以通过 `configs/rec/rec_icdar15_train.yml`  修改Eval中的 `label_file_path` 设置。
tink2123's avatar
tink2123 committed
489
490

```
tink2123's avatar
tink2123 committed
491
# GPU 评估, Global.checkpoints 为待测权重
xmy0916's avatar
xmy0916 committed
492
python3 -m paddle.distributed.launch --gpus '0' tools/eval.py -c configs/rec/rec_icdar15_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy
tink2123's avatar
tink2123 committed
493
494
```

andyjpaddle's avatar
andyjpaddle committed
495
496
<a name="32-------"></a>
## 3.2 测试识别效果
tink2123's avatar
tink2123 committed
497

tink2123's avatar
tink2123 committed
498
使用 PaddleOCR 训练好的模型,可以通过以下脚本进行快速预测。
tink2123's avatar
tink2123 committed
499

tink2123's avatar
tink2123 committed
500
501
502
503
504
默认预测图片存储在 `infer_img` 里,通过 `-o Global.checkpoints` 加载训练好的参数文件:

根据配置文件中设置的的 `save_model_dir` 和 `save_epoch_step` 字段,会有以下几种参数被保存下来:

```
tink2123's avatar
tink2123 committed
505
output/rec/
tink2123's avatar
tink2123 committed
506
507
508
509
510
511
512
513
514
515
516
517
518
├── best_accuracy.pdopt  
├── best_accuracy.pdparams  
├── best_accuracy.states  
├── config.yml  
├── iter_epoch_3.pdopt  
├── iter_epoch_3.pdparams  
├── iter_epoch_3.states  
├── latest.pdopt  
├── latest.pdparams  
├── latest.states  
└── train.log
```
其中 best_accuracy.* 是评估集上的最优模型;iter_epoch_x.* 是以 `save_epoch_step` 为间隔保存下来的模型;latest.* 是最后一个epoch的模型。
tink2123's avatar
tink2123 committed
519
520

```
tink2123's avatar
tink2123 committed
521
# 预测英文结果
WenmuZhou's avatar
WenmuZhou committed
522
python3 tools/infer_rec.py -c configs/rec/rec_icdar15_train.yml -o Global.pretrained_model={path/to/weights}/best_accuracy Global.load_static_weights=false Global.infer_img=doc/imgs_words/en/word_1.png
tink2123's avatar
tink2123 committed
523
```
tink2123's avatar
tink2123 committed
524
525
526

预测图片:

527
![](../imgs_words/en/word_1.png)
tink2123's avatar
tink2123 committed
528
529
530
531

得到输入图像的预测结果:

```
tink2123's avatar
tink2123 committed
532
infer_img: doc/imgs_words/en/word_1.png
tink2123's avatar
tink2123 committed
533
        result: ('joint', 0.9998967)
tink2123's avatar
tink2123 committed
534
535
```

xmy0916's avatar
xmy0916 committed
536
预测使用的配置文件必须与训练一致,如您通过 `python3 tools/train.py -c configs/rec/ch_ppocr_v2.0/rec_chinese_lite_train_v2.0.yml` 完成了中文模型的训练,
tink2123's avatar
tink2123 committed
537
538
539
540
您可以使用如下命令进行中文模型预测。

```
# 预测中文结果
WenmuZhou's avatar
WenmuZhou committed
541
python3 tools/infer_rec.py -c configs/rec/ch_ppocr_v2.0/rec_chinese_lite_train_v2.0.yml -o Global.pretrained_model={path/to/weights}/best_accuracy Global.load_static_weights=false Global.infer_img=doc/imgs_words/ch/word_1.jpg
tink2123's avatar
tink2123 committed
542
543
```

tink2123's avatar
tink2123 committed
544
预测图片:
tink2123's avatar
tink2123 committed
545

546
![](../imgs_words/ch/word_1.jpg)
xiaoting's avatar
xiaoting committed
547

tink2123's avatar
tink2123 committed
548
549
550
得到输入图像的预测结果:

```
tink2123's avatar
tink2123 committed
551
infer_img: doc/imgs_words/ch/word_1.jpg
tink2123's avatar
tink2123 committed
552
        result: ('韩国小馆', 0.997218)
tink2123's avatar
tink2123 committed
553
```
554
555


andyjpaddle's avatar
andyjpaddle committed
556
557
558
559
560
561
562
<a name="4--------"></a>
# 4. 模型导出与预测

inference 模型(`paddle.jit.save`保存的模型)
一般是模型训练,把模型结构和模型参数保存在文件中的固化模型,多用于预测部署场景。
训练过程中保存的模型是checkpoints模型,保存的只有模型的参数,多用于恢复训练等。
与checkpoints模型相比,inference 模型会额外保存模型的结构信息,在预测部署、加速推理上性能优越,灵活方便,适合于实际系统集成。
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587

识别模型转inference模型与检测的方式相同,如下:

```
# -c 后面设置训练算法的yml配置文件
# -o 配置可选参数
# Global.pretrained_model 参数设置待转换的训练模型地址,不用添加文件后缀 .pdmodel,.pdopt或.pdparams。
# Global.save_inference_dir参数设置转换的模型将保存的地址。

python3 tools/export_model.py -c configs/rec/ch_ppocr_v2.0/rec_chinese_lite_train_v2.0.yml -o Global.pretrained_model=./ch_lite/ch_ppocr_mobile_v2.0_rec_train/best_accuracy  Global.save_inference_dir=./inference/rec_crnn/
```

**注意:**如果您是在自己的数据集上训练的模型,并且调整了中文字符的字典文件,请注意修改配置文件中的`character_dict_path`是否是所需要的字典文件。

转换成功后,在目录下有三个文件:

```
/inference/rec_crnn/
    ├── inference.pdiparams         # 识别inference模型的参数文件
    ├── inference.pdiparams.info    # 识别inference模型的参数信息,可忽略
    └── inference.pdmodel           # 识别inference模型的program文件
```

- 自定义模型推理

WenmuZhou's avatar
WenmuZhou committed
588
  如果训练时修改了文本的字典,在使用inference模型预测时,需要通过`--rec_char_dict_path`指定使用的字典路径
589
590

  ```
WenmuZhou's avatar
WenmuZhou committed
591
  python3 tools/infer/predict_rec.py --image_dir="./doc/imgs_words_en/word_336.png" --rec_model_dir="./your inference model" --rec_image_shape="3, 32, 100" --rec_char_dict_path="your text dict path"
592
  ```
andyjpaddle's avatar
andyjpaddle committed
593
594
595
596
597
598
599
600


<a name="5-faq"></a>
# 5. FAQ

Q1: 训练模型转inference 模型之后预测效果不一致?

**A**:此类问题出现较多,问题多是trained model预测时候的预处理、后处理参数和inference model预测的时候的预处理、后处理参数不一致导致的。可以对比训练使用的配置文件中的预处理、后处理和预测时是否存在差异。