Merge branch 'dygraph' of https://github.com/PaddlePaddle/PaddleOCR into dygraph

8b077370 · LDOUBLEV · fea08acc · 86090243 · 8b077370 · 8b077370
Commit 8b077370 authored Feb 18, 2022 by LDOUBLEV
Showing with 65 additions and 44 deletions

ppstructure/table/README.md ppstructure/table/README.md +13 -3

ppstructure/table/README_ch.md ppstructure/table/README_ch.md +17 -18

ppstructure/vqa/README.md ppstructure/vqa/README.md +35 -23

No files found.
--- a/ppstructure/table/README.md
+++ b/ppstructure/table/README.md
+- [Table Recognition](#table-recognition)
+  - [1. pipeline](#1-pipeline)
+  - [2. Performance](#2-performance)
+  - [3. How to use](#3-how-to-use)
+    - [3.1 quick start](#31-quick-start)
+    - [3.2 Train](#32-train)
+    - [3.3 Eval](#33-eval)
+    - [3.4 Inference](#34-inference)
 # Table Recognition
 ## 1. pipeline
@@ -51,10 +61,10 @@ After running, the excel sheet of each picture will be saved in the directory sp
 In this chapter, we only introduce the training of the table structure model, For model training of [text detection](../../doc/doc_en/detection_en.md) and [text recognition](../../doc/doc_en/recognition_en.md), please refer to the corresponding documents
-#### data preparation  
+* data preparation  
 The training data uses public data set [PubTabNet](https://arxiv.org/abs/1911.10683 ), Can be downloaded from the official [website](https://github.com/ibm-aur-nlp/PubTabNet) 。The PubTabNet data set contains about 500,000 images, as well as annotations in html format。
-#### Start training  
+* Start training  
 *If you are installing the cpu version of paddle, please modify the `use_gpu` field in the configuration file to false*
 ```shell
 # single GPU training
@@ -67,7 +77,7 @@ python3 -m paddle.distributed.launch --gpus '0,1,2,3' tools/train.py -c configs/
 In the above instruction, use `-c` to select the training to use the `configs/table/table_mv3.yml` configuration file.
 For a detailed explanation of the configuration file, please refer to [config](../../doc/doc_en/config_en.md).
-#### load trained model and continue training
+* load trained model and continue training
 If you expect to load trained model and continue the training again, you can specify the parameter `Global.checkpoints` as the model path to be loaded.

--- a/ppstructure/table/README_ch.md
+++ b/ppstructure/table/README_ch.md
-# 表格识别
+- [表格识别](#表格识别)
+  - [1. 表格识别 pipeline](#1-表格识别-pipeline)
+  - [2. 性能](#2-性能)
+  - [3. 使用](#3-使用)
+    - [3.1 快速开始](#31-快速开始)
+    - [3.2 训练](#32-训练)
+    - [3.3 评估](#33-评估)
+    - [3.4 预测](#34-预测)
-* [1. 表格识别 pipeline](#1)
+# 表格识别
-* [2. 性能](#2)
-* [3. 使用](#3)
-  + [3.1 快速开始](#31)
-  + [3.2 训练](#32)
-  + [3.3 评估](#33)
-  + [3.4 预测](#34)
-<a name="1"></a>
 ## 1. 表格识别 pipeline
 表格识别主要包含三个模型
@@ -28,7 +28,6 @@
 4. 单元格的识别结果和表格结构一起构造表格的html字符串。
-<a name="2"></a>
 ## 2. 性能
 我们在 PubTabNet<sup>[1]</sup> 评估数据集上对算法进行了评估，性能如下
@@ -38,9 +37,8 @@
 | EDD<sup>[2]</sup> | 88.3 |
 | Ours | 93.32 |
-<a name="3"></a>
 ## 3. 使用
-<a name="31"></a>
 ### 3.1 快速开始
 ```python
@@ -61,14 +59,17 @@ python3 table/predict_table.py --det_model_dir=inference/en_ppocr_mobile_v2.0_ta
 运行完成后，每张图片的excel表格会保存到output字段指定的目录下
 note: 上述模型是在 PubLayNet 数据集上训练的表格识别模型，仅支持英文扫描场景，如需识别其他场景需要自己训练模型后替换 `det_model_dir`,`rec_model_dir`,`table_model_dir`三个字段即可。
-<a name="32"></a>
 ### 3.2 训练
 在这一章节中，我们仅介绍表格结构模型的训练，[文字检测](../../doc/doc_ch/detection.md)和[文字识别](../../doc/doc_ch/recognition.md)的模型训练请参考对应的文档。
-#### 数据准备  
+* 数据准备  
 训练数据使用公开数据集PubTabNet ([论文](https://arxiv.org/abs/1911.10683)，[下载地址](https://github.com/ibm-aur-nlp/PubTabNet))。PubTabNet数据集包含约50万张表格数据的图像，以及图像对应的html格式的注释。
-#### 启动训练  
+* 启动训练
 *如果您安装的是cpu版本，请将配置文件中的 `use_gpu` 字段修改为false*
 ```shell
 # 单机单卡训练
@@ -79,7 +80,7 @@ python3 -m paddle.distributed.launch --gpus '0,1,2,3' tools/train.py -c configs/
 上述指令中，通过-c 选择训练使用configs/table/table_mv3.yml配置文件。有关配置文件的详细解释，请参考[链接](../../doc/doc_ch/config.md)。
-#### 断点训练
+* 断点训练
 如果训练程序中断，如果希望加载训练中断的模型从而恢复训练，可以通过指定Global.checkpoints指定要加载的模型路径：
 ```shell
@@ -88,7 +89,6 @@ python3 tools/train.py -c configs/table/table_mv3.yml -o Global.checkpoints=./yo
 **注意**：`Global.checkpoints`的优先级高于`Global.pretrain_weights`的优先级，即同时指定两个参数时，优先加载`Global.checkpoints`指定的模型，如果`Global.checkpoints`指定的模型路径有误，会加载`Global.pretrain_weights`指定的模型。
-<a name="33"></a>
 ### 3.3 评估
 表格使用 [TEDS(Tree-Edit-Distance-based Similarity)](https://github.com/ibm-aur-nlp/PubTabNet/tree/master/src) 作为模型的评估指标。在进行模型评估之前，需要将pipeline中的三个模型分别导出为inference模型(我们已经提供好)，还需要准备评估的gt， gt示例如下:
@@ -113,7 +113,6 @@ python3 table/eval_table.py --det_model_dir=path/to/det_model_dir --rec_model_di
 ```bash
 teds: 93.32
 ```
-<a name="34"></a>
 ### 3.4 预测
 ```python

--- a/ppstructure/vqa/README.md
+++ b/ppstructure/vqa/README.md
+- [文档视觉问答（DOC-VQA）](#文档视觉问答doc-vqa)
+  - [1. 简介](#1-简介)
+  - [2. 性能](#2-性能)
+  - [3. 效果演示](#3-效果演示)
+    - [3.1 SER](#31-ser)
+    - [3.2 RE](#32-re)
+  - [4. 安装](#4-安装)
+    - [4.1 安装依赖](#41-安装依赖)
+    - [4.2 安装PaddleOCR（包含 PP-OCR 和 VQA）](#42-安装paddleocr包含-pp-ocr-和-vqa)
+  - [5. 使用](#5-使用)
+    - [5.1 数据和预训练模型准备](#51-数据和预训练模型准备)
+    - [5.2 SER](#52-ser)
+    - [5.3 RE](#53-re)
+  - [6. 参考链接](#6-参考链接)
 # 文档视觉问答（DOC-VQA）
+## 1. 简介
 VQA指视觉问答，主要针对图像内容进行提问和回答,DOC-VQA是VQA任务中的一种，DOC-VQA主要针对文本图像的文字内容提出问题。
 PP-Structure 里的 DOC-VQA算法基于PaddleNLP自然语言处理算法库进行开发。
@@ -16,23 +34,23 @@ PP-Structure 里的 DOC-VQA算法基于PaddleNLP自然语言处理算法库进
 本项目是 [LayoutXLM: Multimodal Pre-training for Multilingual Visually-rich Document Understanding](https://arxiv.org/pdf/2104.08836.pdf) 在 Paddle 2.2上的开源实现，
 包含了在 [XFUND数据集](https://github.com/doc-analysis/XFUND) 上的微调代码。
-## 1 性能
+## 2. 性能
 我们在 [XFUN](https://github.com/doc-analysis/XFUND) 的中文数据集上对算法进行了评估，性能如下
 | 模型 | 任务 | hmean | 模型下载地址 |
 |:---:|:---:|:---:| :---:|
-| LayoutXLM | RE | 0.7483 | [链接](https://paddleocr.bj.bcebos.com/pplayout/re_LayoutXLM_xfun_zh.tar) |
 | LayoutXLM | SER | 0.9038 | [链接](https://paddleocr.bj.bcebos.com/pplayout/ser_LayoutXLM_xfun_zh.tar) |
+| LayoutXLM | RE | 0.7483 | [链接](https://paddleocr.bj.bcebos.com/pplayout/re_LayoutXLM_xfun_zh.tar) |
+| LayoutLMv2 | SER | 0.8544 | [链接](https://paddleocr.bj.bcebos.com/pplayout/ser_LayoutLMv2_xfun_zh.tar)
+| LayoutLMv2 | RE | 0.6777 | [链接](https://paddleocr.bj.bcebos.com/pplayout/re_LayoutLMv2_xfun_zh.tar) |
 | LayoutLM | SER | 0.7731 | [链接](https://paddleocr.bj.bcebos.com/pplayout/ser_LayoutLM_xfun_zh.tar) |
+## 3. 效果演示
-## 2. 效果演示
 **注意：** 测试图片来源于XFUN数据集。
-### 2.1 SER
+### 3.1 SER
 ![](../../doc/vqa/result_ser/zh_val_0_ser.jpg) | ![](../../doc/vqa/result_ser/zh_val_42_ser.jpg)
 ---|---
@@ -45,8 +63,7 @@ PP-Structure 里的 DOC-VQA算法基于PaddleNLP自然语言处理算法库进
 在OCR检测框的左上方也标出了对应的类别和OCR识别结果。
+### 3.2 RE
-### 2.2 RE
 ![](../../doc/vqa/result_re/zh_val_21_re.jpg) | ![](../../doc/vqa/result_re/zh_val_40_re.jpg)
 ---|---
@@ -54,10 +71,9 @@ PP-Structure 里的 DOC-VQA算法基于PaddleNLP自然语言处理算法库进
 图中红色框表示问题，蓝色框表示答案，问题和答案之间使用绿色线连接。在OCR检测框的左上方也标出了对应的类别和OCR识别结果。
+## 4. 安装
-## 3. 安装
+### 4.1 安装依赖
-### 3.1 安装依赖
 - **（1) 安装PaddlePaddle**
@@ -73,8 +89,7 @@ python3 -m pip install "paddlepaddle>=2.2" -i https://mirror.baidu.com/pypi/simp
 ```
 更多需求，请参照[安装文档](https://www.paddlepaddle.org.cn/install/quick)中的说明进行操作。
+### 4.2 安装PaddleOCR（包含 PP-OCR 和 VQA）
-### 3.2 安装PaddleOCR（包含 PP-OCR 和 VQA ）
 - **（1）pip快速安装PaddleOCR whl包（仅预测）**
@@ -99,10 +114,9 @@ git clone https://gitee.com/paddlepaddle/PaddleOCR
 python3 -m pip install -r ppstructure/vqa/requirements.txt
 ```
-## 4. 使用
+## 5. 使用
+### 5.1 数据和预训练模型准备
-### 4.1 数据和预训练模型准备
 如果希望直接体验预测过程，可以下载我们提供的预训练模型，跳过训练过程，直接预测即可。
@@ -125,7 +139,7 @@ wget https://paddleocr.bj.bcebos.com/dataset/XFUND.tar
 python3 ppstructure/vqa/helper/trans_xfun_data.py --ori_gt_path=path/to/json_path --output_path=path/to/save_path
 ```
-### 4.2 SER任务
+### 5.2 SER
 启动训练之前，需要修改下面的四个字段
@@ -164,7 +178,7 @@ CUDA_VISIBLE_DEVICES=0 python3 tools/eval.py -c configs/vqa/ser/layoutxlm.yml -o
 使用如下命令即可完成`OCR引擎 + SER`的串联预测
 ```shell
-CUDA_VISIBLE_DEVICES=0 python3 tools/infer_vqa_token_ser.py -c configs/vqa/ser/layoutxlm.yml  -o Architecture.Backbone.checkpoints=PP-Layout_v1.0_ser_pretrained/ Global.infer_img=doc/vqa/input/zh_val_42.jpg
+CUDA_VISIBLE_DEVICES=0 python3 tools/infer_vqa_token_ser.py -c configs/vqa/ser/layoutxlm.yml  -o Architecture.Backbone.checkpoints=ser_LayoutXLM_xfun_zh/ Global.infer_img=doc/vqa/input/zh_val_42.jpg
 ```
 最终会在`config.Global.save_res_path`字段所配置的目录下保存预测结果可视化图像以及预测结果文本文件，预测结果文本文件名为`infer_results.txt`。
@@ -178,8 +192,7 @@ export CUDA_VISIBLE_DEVICES=0
 python3 helper/eval_with_label_end2end.py --gt_json_path XFUND/zh_val/xfun_normalize_val.json  --pred_json_path output_res/infer_results.txt
 ```
+### 5.3 RE
-### 3.3 RE任务
 * 启动训练
@@ -219,13 +232,12 @@ CUDA_VISIBLE_DEVICES=0 python3 tools/eval.py -c configs/vqa/re/layoutxlm.yml -o
 使用如下命令即可完成`OCR引擎 + SER + RE`的串联预测
 ```shell
 export CUDA_VISIBLE_DEVICES=0
-python3 tools/infer_vqa_token_ser_re.py -c configs/vqa/re/layoutxlm.yml -o Architecture.Backbone.checkpoints=PP-Layout_v1.0_re_pretrained/ Global.infer_img=doc/vqa/input/zh_val_21.jpg -c_ser configs/vqa/ser/layoutxlm.yml -o_ser Architecture.Backbone.checkpoints=PP-Layout_v1.0_ser_pretrained/
+python3 tools/infer_vqa_token_ser_re.py -c configs/vqa/re/layoutxlm.yml -o Architecture.Backbone.checkpoints=re_LayoutXLM_xfun_zh/ Global.infer_img=doc/vqa/input/zh_val_21.jpg -c_ser configs/vqa/ser/layoutxlm.yml -o_ser Architecture.Backbone.checkpoints=ser_LayoutXLM_xfun_zh/
 ```
 最终会在`config.Global.save_res_path`字段所配置的目录下保存预测结果可视化图像以及预测结果文本文件，预测结果文本文件名为`infer_results.txt`。
+## 6. 参考链接
-## 参考链接
 - LayoutXLM: Multimodal Pre-training for Multilingual Visually-rich Document Understanding, https://arxiv.org/pdf/2104.08836.pdf
 - microsoft/unilm/layoutxlm, https://github.com/microsoft/unilm/tree/master/layoutxlm