Skip to content

GitLab

"profiler/src/profile_convnd_bwd_weight.cpp" did not exist on "cec69bc3bc200de7e09396579fe33cb153f8afeb"
Commit d1345601 authored by MissPenguin's avatar MissPenguin
Browse files

update doc

parent 992de4ef
Show whitespace changes
Inline Side-by-side
Showing with 163 additions and 59 deletions
tests/docs/test_python.md 0 → 100644
View file @ d1345601
# Python功能测试
Python功能测试的主程序为`test_python.sh`，可以测试基于Python的模型训练、评估、推理等基本功能，包括裁剪、量化、蒸馏。
## 测试结论汇总
训练相关：方式包括：
【单机单卡、单机多卡、多机多卡】*【正常训练、混合精度训练】*【裁剪、在线量化、蒸馏】
| 模型名称 | 算法名称 | 模型类型 |单机单卡 | 单机多卡 | 多机多卡 | |
| ---- | ---- | ---- | ---- | ---- | ---- | ---- |
|ch_ppocr_mobile_v2.0_det_infer| DB | 检测 |
|ch_ppocr_mobile_v2.0_rec_infer| CRNN | 识别 |
|ch_ppocr_server_v2.0_det_infer| DB | 检测 |
|ch_ppocr_server_v2.0_rec_infer| CRNN | 识别 |
预测相关：
| 模型名称 | 算法名称 | 模型类型 |device | batch>1 | mkldnn | tensorrt | cpu多线程 |
| ---- | ---- | ---- | ---- | ---- | ---- | ----| --- |
|ch_ppocr_mobile_v2.0_det_infer| DB | 检测 | CPU/GPU | 支持 | 支持 | fp32/fp16/int8 | 支持 |
|ch_ppocr_mobile_v2.0_rec_infer| CRNN | 识别 | CPU/GPU | 支持 | 支持 | fp32/fp16/int8 | 支持 |
|ch_ppocr_server_v2.0_det_infer| DB | 检测 | CPU/GPU | 支持 | 支持 | fp32/fp16/int8 | 支持 |
|ch_ppocr_server_v2.0_rec_infer| CRNN | 识别 | CPU/GPU | 支持 | 支持 | fp32/fp16/int8 | 支持 |
## 1. 安装依赖
- 安装PaddlePaddle >= 2.0
- 安装PaddleOCR依赖
```
pip3 install -r ../requirements.txt
```
- 安装autolog（规范化日志输出工具）
```
git clone https://github.com/LDOUBLEV/AutoLog
cd AutoLog
pip3 install -r requirements.txt
python3 setup.py bdist_wheel
pip3 install ./dist/auto_log-1.0.0-py3-none-any.whl
cd ../
```
## 2. 功能测试
先运行`prepare.sh`准备数据和模型，然后运行`test_python.sh`进行测试，最终在```tests/output```目录下生成.log后缀的日志文件。
test_python.sh包含四种运行模式，每种模式的运行数据不同，分别用于测试速度和精度，分别是：
- 模式1：lite_train_infer，使用少量数据训练，用于快速验证训练到预测的走通流程，不验证精度和速度；
```shell
bash tests/prepare.sh ./tests/configs/ppocr_det_mobile_params.txt 'lite_train_infer'
bash tests/test_python.sh ./tests/configs/ppocr_det_mobile_params.txt 'lite_train_infer'
```
- 模式2：whole_infer，使用少量数据训练，一定量数据预测，用于验证训练后的模型执行预测，预测速度是否合理；
```shell
bash tests/prepare.sh ./tests/configs/ppocr_det_mobile_params.txt 'whole_infer'
bash tests/test_python.sh ./tests/configs/ppocr_det_mobile_params.txt 'whole_infer'
```
- 模式3：infer 不训练，全量数据预测，走通开源模型评估、动转静，检查inference model预测时间和精度;
```shell
bash tests/prepare.sh ./tests/configs/ppocr_det_mobile_params.txt 'infer'
# 用法1:
bash tests/test_python.sh ./tests/configs/ppocr_det_mobile_params.txt 'infer'
# 用法2: 指定GPU卡预测，第三个传入参数为GPU卡号
bash tests/test_python.sh ./tests/configs/ppocr_det_mobile_params.txt 'infer' '1'
```
- 模式4：whole_train_infer , CE： 全量数据训练，全量数据预测，验证模型训练精度，预测精度，预测速度；
```shell
bash tests/prepare.sh ./tests/configs/ppocr_det_mobile_params.txt 'whole_train_infer'
bash tests/test.sh ./tests/configs/ppocr_det_mobile_params.txt 'whole_train_infer'
```
## 3. 精度测试
\ No newline at end of file
tests/readme.md
View file @ d1345601
# 从训练到推理部署工具链测试方法介绍 # 推理部署导航
test.sh和params.txt文件配合使用，完成OCR轻量检测和识别模型从训练到预测的流程测试。 飞桨除了基本的模型训练和预测，还提供了支持多端多平台的高性能推理部署工具。本文档提供了PaddleOCR中所有模型的推理部署导航，方便用户查阅每种模型的推理部署打通情况，并可以进行一键测试。
# 安装依赖 <div align="center">
- 安装PaddlePaddle >= 2.0 <img src="docs/guide.png" width="800">
- 安装PaddleOCR依赖 </div>
```
pip3 install -r ../requirements.txt
```
- 安装autolog
```
git clone https://github.com/LDOUBLEV/AutoLog
cd AutoLog
pip3 install -r requirements.txt
python3 setup.py bdist_wheel
pip3 install ./dist/auto_log-1.0.0-py3-none-any.whl
cd ../
```
# 目录介绍 打通情况分为以下四种情况：
- **支持**：可以一键测试
- **未接入**：PaddleOCR已支持该功能，但还未接入一键测试
- **未覆盖**：PaddleOCR未进行打通测试，也没有接入一键测试
- **不支持**：由于飞桨框架限制，暂时无法支持该功能
```bash | 模型名称 | 算法名称 | 模型类型 |python训练预测 | c++预测 | serving部署 | lite部署 |
tests/ | ---- | ---- | ---- | ---- | ---- | ---- | ---- |
├── ocr_det_params.txt # 测试OCR检测模型的参数配置文件 |ch_ppocr_mobile_v2.0_det_infer| DB | 检测 | 支持 | 支持 | 支持 | 支持 |
├── ocr_rec_params.txt # 测试OCR识别模型的参数配置文件 |ch_ppocr_mobile_v2.0_rec_infer| CRNN | 识别 | 支持 | 支持 | 支持 | 支持 |
├── ocr_ppocr_mobile_params.txt # 测试OCR检测+识别模型串联的参数配置文件 |ch_ppocr_server_v2.0_det_infer| DB | 检测 | 支持 | 支持 | 支持 | 支持 |
└── prepare.sh # 完成test.sh运行所需要的数据和模型下载 |ch_ppocr_server_v2.0_rec_infer| CRNN | 识别 | 支持 | 支持 | 支持 | 支持 |
└── test.sh # 测试主程序 |ch_PP-OCRv2_det_infer | DB | 检测 | 未接入 | 未接入 |未接入 |未接入 |
``` |ch_PP-OCRv2_rec_infer | CRNN | 识别 | 未接入 | 未接入 |未接入 |未接入 |
|det_mv3_db_v2.0 | DB | 检测 | 未接入 | 未接入 |未接入 |未接入 |
|det_r50_vd_db_v2.0 | DB | 检测 | 未接入 | 未接入 |未接入 |未接入 |
|det_mv3_east_v2.0 | EAST | 检测 | 未接入 | 未覆盖 | 未接入 | 未覆盖 |
|det_r50_vd_east_v2.0 | EAST | 检测 | 未接入 | 未覆盖 | 未接入 | 未覆盖 |
|det_mv3_pse_v2.0 | PSENet | 检测 | 未接入 | 未覆盖 | 未接入 | 未覆盖 |
|det_r50_vd_pse_v2.0 | PSENet | 检测 | 未接入 | 未覆盖 | 未覆盖 | 未覆盖 |
|det_r50_vd_sast_totaltext_v2.0| SAST | 检测 | 未接入 | 未覆盖 | 未覆盖 | 未覆盖 |
|rec_mv3_none_none_ctc_v2.0 | Rosetta| 识别 |
|rec_r34_vd_none_none_ctc_v2.0 | Rosetta| 识别 |
|rec_mv3_none_bilstm_ctc_v2.0 | CRNN | 识别 |
|rec_r34_vd_none_bilstm_ctc_v2.0| CRNN | 识别 |
|rec_mv3_tps_bilstm_ctc_v2.0 | StarNet| 识别 |
|rec_r34_vd_tps_bilstm_ctc_v2.0 | StarNet| 识别 |
|rec_mv3_tps_bilstm_att_v2.0 | RARE | 识别 |
|rec_r34_vd_tps_bilstm_att_v2.0 | RARE | 识别 |
|rec_r50fpn_vd_none_srn | SRN | 识别 |
|rec_mtb_nrtr | NRTR | 识别 |
|rec_r31_sar | SAR | 识别 |
|rec_r34_vd_none_none_ctc_v2.0 | PGNet | 端到端|
# 使用方法
test.sh包含四种运行模式，每种模式的运行数据不同，分别用于测试速度和精度，分别是： ***
# 一键测试工具使用
## 目录介绍
- 模式1：lite_train_infer，使用少量数据训练，用于快速验证训练到预测的走通流程，不验证精度和速度；
```shell ```shell
bash tests/prepare.sh ./tests/ocr_det_params.txt 'lite_train_infer' tests/
bash tests/test.sh ./tests/ocr_det_params.txt 'lite_train_infer' ├── configs/ # 配置文件目录
``` ├── det_mv3_db.yml # 测试mobile版ppocr检测模型训练的yml文件
├── det_r50_vd_db.yml # 测试server版ppocr检测模型训练的yml文件
- 模式2：whole_infer，使用少量数据训练，一定量数据预测，用于验证训练后的模型执行预测，预测速度是否合理； ├── rec_icdar15_r34_train.yml # 测试server版ppocr识别模型训练的yml文件
```shell ├── ppocr_sys_mobile_params.txt # 测试mobile版ppocr检测+识别模型串联的参数配置文件
bash tests/prepare.sh ./tests/ocr_det_params.txt 'whole_infer' ├── ppocr_det_mobile_params.txt # 测试mobile版ppocr检测模型的参数配置文件
bash tests/test.sh ./tests/ocr_det_params.txt 'whole_infer' ├── ppocr_rec_mobile_params.txt # 测试mobile版ppocr识别模型的参数配置文件
``` ├── ppocr_sys_server_params.txt # 测试server版ppocr检测+识别模型串联的参数配置文件
├── ppocr_det_server_params.txt # 测试server版ppocr检测模型的参数配置文件
- 模式3：infer 不训练，全量数据预测，走通开源模型评估、动转静，检查inference model预测时间和精度; ├── ppocr_rec_server_params.txt # 测试server版ppocr识别模型的参数配置文件
```shell ├── ...
bash tests/prepare.sh ./tests/ocr_det_params.txt 'infer' ├── results/ # 预先保存的预测结果，用于和实际预测结果进行精读比对
# 用法1: ├── ppocr_det_mobile_results_fp32.txt # 预存的mobile版ppocr检测模型fp32精度的结果
bash tests/test.sh ./tests/ocr_det_params.txt 'infer' ├── ppocr_det_mobile_results_fp16.txt # 预存的mobile版ppocr检测模型fp16精度的结果
# 用法2: 指定GPU卡预测，第三个传入参数为GPU卡号 ├── ppocr_det_mobile_results_fp32_cpp.txt # 预存的mobile版ppocr检测模型c++预测的fp32精度的结果
bash tests/test.sh ./tests/ocr_det_params.txt 'infer' '1' ├── ppocr_det_mobile_results_fp16_cpp.txt # 预存的mobile版ppocr检测模型c++预测的fp16精度的结果
├── ...
├── prepare.sh # 完成test_*.sh运行所需要的数据和模型下载
├── test_python.sh # 测试python训练预测的主程序
├── test_cpp.sh # 测试c++预测的主程序
├── test_serving.sh # 测试serving部署预测的主程序
├── test_lite.sh # 测试lite部署预测的主程序
├── compare_results.py # 用于对比log中的预测结果与results中的预存结果精度误差是否在限定范围内
└── readme.md # 使用文档
``` ```
- 模式4：whole_train_infer , CE： 全量数据训练，全量数据预测，验证模型训练精度，预测精度，预测速度； ## 测试流程
```shell 使用本工具，可以测试不同功能的支持情况，以及预测结果是否对齐，测试流程如下：
bash tests/prepare.sh ./tests/ocr_det_params.txt 'whole_train_infer' <div align="center">
bash tests/test.sh ./tests/ocr_det_params.txt 'whole_train_infer' <img src="docs/test.png" width="800">
``` </div>
- 模式5：cpp_infer , CE： 验证inference model的c++预测是否走通； 1. 运行prepare.sh准备测试所需数据和模型；
```shell 2. 运行要测试的功能对应的测试脚本`test_*.sh`，产出log，由log可以看到不同配置是否运行成功；
bash tests/prepare.sh ./tests/ocr_det_params.txt 'cpp_infer' 3. 【可选】用`compare_results.py`对比log中的预测结果和预存在results目录下的结果，判断预测精度是否符合预期（在误差范围内）。
bash tests/test.sh ./tests/ocr_det_params.txt 'cpp_infer'
```
# 日志输出 其中，有4个测试主程序，功能如下：
最终在```tests/output```目录下生成.log后缀的日志文件 - `test_python.sh`：测试基于Python的模型训练、评估、推理等基本功能，包括裁剪、量化、蒸馏。
- `test_cpp.sh`：测试基于C++的模型推理。
- `test_serving.sh`：测试基于Paddle Serving的服务化部署功能。
- `test_lite.sh`：测试基于Paddle-Lite的端侧预测部署功能。
各功能测试中涉及GPU/CPU、mkldnn、Tensorrt等多种参数配置，点击相应链接了解更多细节和使用教程：
[test_python使用](docs/test_python.md)
[test_cpp使用](docs/test_cpp.md)
[test_serving使用](docs/test_serving.md)
[test_lite使用](docs/test_lite.md)
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment