README_CN.md 12 KB
Newer Older
LDOUBLEV's avatar
LDOUBLEV committed
1
2
3
4
# PPOCR 服务化部署

([English](./README.md)|简体中文)

LDOUBLEV's avatar
LDOUBLEV committed
5
6
7
8
PaddleOCR提供2种服务部署方式:
- 基于PaddleHub Serving的部署:代码路径为"`./deploy/hubserving`",使用方法参考[文档](../../deploy/hubserving/readme.md)
- 基于PaddleServing的部署:代码路径为"`./deploy/pdserving`",按照本教程使用。

tink2123's avatar
tink2123 committed
9

LDOUBLEV's avatar
LDOUBLEV committed
10
11
# 基于PaddleServing的服务部署

12
本文档将介绍如何使用[PaddleServing](https://github.com/PaddlePaddle/Serving/blob/develop/README_CN.md) 工具部署PP-OCR动态图模型的pipeline在线服务。
LDOUBLEV's avatar
LDOUBLEV committed
13

LDOUBLEV's avatar
LDOUBLEV committed
14
15
16
17
相比较于hubserving部署,PaddleServing具备以下优点:
- 支持客户端和服务端之间高并发和高效通信
- 支持 工业级的服务能力 例如模型管理,在线加载,在线A/B测试等
- 支持 多种编程语言 开发客户端,例如C++, Python和Java
LDOUBLEV's avatar
LDOUBLEV committed
18

19
20
21
22
23
24
25
26
PaddleServing 支持多种语言部署,本例中提供了python pipeline 和 C++ 两种部署方式,两者的对比如下:

| 语言 | 速度 | 二次开发 | 是否需要编译 |
|-----|-----|---------|------------|
| C++ | 很快 | 略有难度 | 单模型预测无需编译,多模型串联需要编译 |
| python | 一般 | 容易 | 单模型/多模型 均无需编译|


LDOUBLEV's avatar
LDOUBLEV committed
27
更多有关PaddleServing服务化部署框架介绍和使用教程参考[文档](https://github.com/PaddlePaddle/Serving/blob/develop/README_CN.md)
LDOUBLEV's avatar
LDOUBLEV committed
28

tink2123's avatar
tink2123 committed
29
30
AIStudio演示案例可参考 [基于PaddleServing的OCR服务化部署实战](https://aistudio.baidu.com/aistudio/projectdetail/3630726)

LDOUBLEV's avatar
LDOUBLEV committed
31
32
33
34
## 目录
- [环境准备](#环境准备)
- [模型转换](#模型转换)
- [Paddle Serving pipeline部署](#部署)
tink2123's avatar
tink2123 committed
35
- [Paddle Serving C++部署](#C++)
fanruinet's avatar
fanruinet committed
36
- [Windows用户](#Windows用户)
LDOUBLEV's avatar
LDOUBLEV committed
37
- [FAQ](#FAQ)
LDOUBLEV's avatar
LDOUBLEV committed
38

LDOUBLEV's avatar
LDOUBLEV committed
39
<a name="环境准备"></a>
LDOUBLEV's avatar
LDOUBLEV committed
40
41
42
43
## 环境准备

需要准备PaddleOCR的运行环境和Paddle Serving的运行环境。

tink2123's avatar
tink2123 committed
44
- 准备PaddleOCR的运行环境[链接](../../doc/doc_ch/installation.md)
LDOUBLEV's avatar
LDOUBLEV committed
45

46
47
48
49
50
51
52
    ```
    git clone https://github.com/PaddlePaddle/PaddleOCR

    # 进入到工作目录
    cd PaddleOCR/deploy/pdserving/
    ```

LDOUBLEV's avatar
LDOUBLEV committed
53
- 准备PaddleServing的运行环境,步骤如下
LDOUBLEV's avatar
LDOUBLEV committed
54

littletomatodonkey's avatar
littletomatodonkey committed
55
56
```bash
# 安装serving,用于启动服务
57
58
wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_server_gpu-0.8.3.post102-py3-none-any.whl
pip3 install paddle_serving_server_gpu-0.8.3.post102-py3-none-any.whl
littletomatodonkey's avatar
littletomatodonkey committed
59
# 如果是cuda10.1环境,可以使用下面的命令安装paddle-serving-server
60
61
# wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_server_gpu-0.8.3.post101-py3-none-any.whl
# pip3 install paddle_serving_server_gpu-0.8.3.post101-py3-none-any.whl
littletomatodonkey's avatar
littletomatodonkey committed
62
63

# 安装client,用于向服务发送请求
64
65
wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_client-0.8.3-cp37-none-any.whl
pip3 install paddle_serving_client-0.8.3-cp37-none-any.whl
littletomatodonkey's avatar
littletomatodonkey committed
66
67

# 安装serving-app
68
69
wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_app-0.8.3-py3-none-any.whl
pip3 install paddle_serving_app-0.8.3-py3-none-any.whl
littletomatodonkey's avatar
littletomatodonkey committed
70
```
LDOUBLEV's avatar
LDOUBLEV committed
71

72
**Note:** 如果要安装最新版本的PaddleServing参考[链接](https://github.com/PaddlePaddle/Serving/blob/v0.8.3/doc/Latest_Packages_CN.md)
LDOUBLEV's avatar
LDOUBLEV committed
73
74

<a name="模型转换"></a>
LDOUBLEV's avatar
LDOUBLEV committed
75
## 模型转换
LDOUBLEV's avatar
LDOUBLEV committed
76

LDOUBLEV's avatar
LDOUBLEV committed
77
78
使用PaddleServing做服务化部署时,需要将保存的inference模型转换为serving易于部署的模型。

Leif's avatar
Leif committed
79
首先,下载PP-OCR的[inference模型](https://github.com/PaddlePaddle/PaddleOCR#pp-ocr-series-model-listupdate-on-september-8th)
littletomatodonkey's avatar
littletomatodonkey committed
80
81

```bash
LDOUBLEV's avatar
LDOUBLEV committed
82
# 下载并解压 OCR 文本检测模型
83
wget https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_det_infer.tar -O ch_PP-OCRv3_det_infer.tar && tar -xf ch_PP-OCRv3_det_infer.tar
LDOUBLEV's avatar
LDOUBLEV committed
84
# 下载并解压 OCR 文本识别模型
85
wget https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_rec_infer.tar -O ch_PP-OCRv3_rec_infer.tar &&  tar -xf ch_PP-OCRv3_rec_infer.tar
LDOUBLEV's avatar
LDOUBLEV committed
86
87
88
```

接下来,用安装的paddle_serving_client把下载的inference模型转换成易于server部署的模型格式。
LDOUBLEV's avatar
LDOUBLEV committed
89

littletomatodonkey's avatar
littletomatodonkey committed
90
```bash
LDOUBLEV's avatar
LDOUBLEV committed
91
# 转换检测模型
92
python3 -m paddle_serving_client.convert --dirname ./ch_PP-OCRv3_det_infer/ \
LDOUBLEV's avatar
LDOUBLEV committed
93
94
                                         --model_filename inference.pdmodel          \
                                         --params_filename inference.pdiparams       \
95
96
                                         --serving_server ./ppocr_det_v3_serving/ \
                                         --serving_client ./ppocr_det_v3_client/
LDOUBLEV's avatar
LDOUBLEV committed
97
98

# 转换识别模型
99
python3 -m paddle_serving_client.convert --dirname ./ch_PP-OCRv3_rec_infer/ \
LDOUBLEV's avatar
LDOUBLEV committed
100
101
                                         --model_filename inference.pdmodel          \
                                         --params_filename inference.pdiparams       \
102
103
                                         --serving_server ./ppocr_rec_v3_serving/  \
                                         --serving_client ./ppocr_rec_v3_client/
LDOUBLEV's avatar
LDOUBLEV committed
104
105
```

106
检测模型转换完成后,会在当前文件夹多出`ppocr_det_v3_serving``ppocr_det_v3_client`的文件夹,具备如下格式:
LDOUBLEV's avatar
LDOUBLEV committed
107
```
108
|- ppocr_det_v3_serving/
LDOUBLEV's avatar
LDOUBLEV committed
109
110
111
112
113
  |- __model__  
  |- __params__
  |- serving_server_conf.prototxt  
  |- serving_server_conf.stream.prototxt

114
|- ppocr_det_v3_client
LDOUBLEV's avatar
LDOUBLEV committed
115
116
117
118
119
120
  |- serving_client_conf.prototxt  
  |- serving_client_conf.stream.prototxt

```
识别模型同理。

LDOUBLEV's avatar
LDOUBLEV committed
121
<a name="部署"></a>
LDOUBLEV's avatar
LDOUBLEV committed
122
123
## Paddle Serving pipeline部署

124
1. 确认工作目录下文件结构:
tink2123's avatar
tink2123 committed
125

LDOUBLEV's avatar
LDOUBLEV committed
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
    pdserver目录包含启动pipeline服务和发送预测请求的代码,包括:
    ```
    __init__.py
    config.yml            # 启动服务的配置文件
    ocr_reader.py         # OCR模型预处理和后处理的代码实现
    pipeline_http_client.py   # 发送pipeline预测请求的脚本
    web_service.py        # 启动pipeline服务端的脚本
    ```

2. 启动服务可运行如下命令:
    ```
    # 启动服务,运行日志保存在log.txt
    python3 web_service.py &>log.txt &
    ```
    成功启动服务后,log.txt中会打印类似如下日志
    ![](./imgs/start_server.png)

3. 发送服务请求:
    ```
    python3 pipeline_http_client.py
    ```
    成功运行后,模型预测的结果会打印在cmd窗口中,结果示例为:
tink2123's avatar
tink2123 committed
148
    ![](./imgs/pipeline_result.png)
LDOUBLEV's avatar
LDOUBLEV committed
149

tink2123's avatar
add qps  
tink2123 committed
150
151
152
153
154
155
156
157
158
159
160
161
162
    调整 config.yml 中的并发个数获得最大的QPS, 一般检测和识别的并发数为2:1
    ```
    det:
        #并发数,is_thread_op=True时,为线程并发;否则为进程并发
        concurrency: 8
        ...
    rec:
        #并发数,is_thread_op=True时,为线程并发;否则为进程并发
        concurrency: 4
        ...
    ```
    有需要的话可以同时发送多个服务请求

tink2123's avatar
add qps  
tink2123 committed
163
164
    预测性能数据会被自动写入 `PipelineServingLogs/pipeline.tracer` 文件中。

165
    在200张真实图片上测试,把检测长边限制为960。T4 GPU 上 QPS 均值可达到62左右:
tink2123's avatar
add qps  
tink2123 committed
166
167

    ```
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
    2022-05-12 03:56:46,461 ==================== TRACER ======================
    2022-05-12 03:56:46,860 Op(det):
    2022-05-12 03:56:46,860         in[80.32286641221374 ms]
    2022-05-12 03:56:46,860         prep[74.27364885496183 ms]
    2022-05-12 03:56:46,860         midp[33.41587786259542 ms]
    2022-05-12 03:56:46,860         postp[20.935980916030534 ms]
    2022-05-12 03:56:46,860         out[1.551145038167939 ms]
    2022-05-12 03:56:46,860         idle[0.3889510617728378]
    2022-05-12 03:56:46,860 Op(rec):
    2022-05-12 03:56:46,860         in[15.46498846153846 ms]
    2022-05-12 03:56:46,861         prep[22.565715384615384 ms]
    2022-05-12 03:56:46,861         midp[91.42518076923076 ms]
    2022-05-12 03:56:46,861         postp[11.678453846153847 ms]
    2022-05-12 03:56:46,861         out[1.1200576923076924 ms]
    2022-05-12 03:56:46,861         idle[0.11658723106110291]
    2022-05-12 03:56:46,862 DAGExecutor:
    2022-05-12 03:56:46,862         Query count[620]
    2022-05-12 03:56:46,862         QPS[62.0 q/s]
    2022-05-12 03:56:46,862         Succ[0.4193548387096774]
    2022-05-12 03:56:46,862         Latency:
    2022-05-12 03:56:46,863                 ave[165.54603709677417 ms]
    2022-05-12 03:56:46,863                 .50[77.863 ms]
    2022-05-12 03:56:46,863                 .60[158.414 ms]
    2022-05-12 03:56:46,863                 .70[237.28 ms]
    2022-05-12 03:56:46,863                 .80[316.022 ms]
    2022-05-12 03:56:46,863                 .90[424.416 ms]
    2022-05-12 03:56:46,863                 .95[515.566 ms]
    2022-05-12 03:56:46,863                 .99[762.256 ms]
    2022-05-12 03:56:46,863 Channel (server worker num[10]):
    2022-05-12 03:56:46,864         chl0(In: ['@DAGExecutor'], Out: ['det']) size[0/0]
    2022-05-12 03:56:46,864         chl1(In: ['det'], Out: ['rec']) size[2/0]
    2022-05-12 03:56:46,865         chl2(In: ['rec'], Out: ['@DAGExecutor']) size[0/0]
tink2123's avatar
add qps  
tink2123 committed
200
    ```
LDOUBLEV's avatar
LDOUBLEV committed
201

tink2123's avatar
tink2123 committed
202
203
204
205
206
207
208
209
210
211
212
213
<a name="C++"></a>
## Paddle Serving C++ 部署

基于python的服务部署,显然具有二次开发便捷的优势,然而真正落地应用,往往需要追求更优的性能。PaddleServing 也提供了性能更优的C++部署版本。

C++ 服务部署在环境搭建和数据准备阶段与 python 相同,区别在于启动服务和客户端发送请求时不同。

1. 准备 Serving 环境

为了提高预测性能,C++ 服务同样提供了多模型串联服务。与python pipeline服务不同,多模型串联的过程中需要将模型前后处理代码写在服务端,因此需要在本地重新编译生成serving。

首先需要下载Serving代码库, 把OCR文本检测预处理相关代码替换到Serving库中
214

tink2123's avatar
tink2123 committed
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
```
git clone https://github.com/PaddlePaddle/Serving

cp -rf general_detection_op.cpp Serving/core/general-server/op

```

具体可参考官方文档:[如何编译Serving](https://github.com/PaddlePaddle/Serving/blob/v0.8.3/doc/Compile_CN.md),注意需要开启 WITH_OPENCV 选项。

完成编译后,注意要安装编译出的三个whl包,并设置SERVING_BIN环境变量。

2. 启动服务可运行如下命令:

一个服务启动两个模型串联,只需要在--model后依次按顺序传入模型文件夹的相对路径,且需要在--op后依次传入自定义C++OP类名称:

    ```
    # 启动服务,运行日志保存在log.txt
232
    python3 -m paddle_serving_server.serve --model ppocr_det_v3_serving ppocr_rec_v3_serving --op GeneralDetectionOp GeneralInferOp --port 9293 &>log.txt &
tink2123's avatar
tink2123 committed
233
234
235
236
237
238
239
    ```
    成功启动服务后,log.txt中会打印类似如下日志
    ![](./imgs/start_server.png)

3. 发送服务请求:

   由于需要在C++Server部分进行前后处理,为了加速传入C++Server的仅仅是图片的base64编码的字符串,故需要手动修改
240
   ppocr_det_v3_client/serving_client_conf.prototxt 中 feed_type 字段 和 shape 字段,修改成如下内容:
tink2123's avatar
tink2123 committed
241
242
243
244
245
246
247
248
249
250
251
   ```
    feed_var {
    name: "x"
    alias_name: "x"
    is_lod_tensor: false
    feed_type: 20
    shape: 1
    }
   ```
   启动客户端
   ```
252
    python3 ocr_cpp_client.py ppocr_det_v3_client ppocr_rec_v3_client
tink2123's avatar
tink2123 committed
253
254
255
256
257
258
259
260
261
262
263
264
   ```

    成功运行后,模型预测的结果会打印在cmd窗口中,结果示例为:
    ![](./imgs/results.png)

    在浏览器中输入服务器 ip:端口号,可以看到当前服务的实时QPS。(端口号范围需要是8000-9000)

    在200张真实图片上测试,把检测长边限制为960。T4 GPU 上 QPS 峰值可达到51左右,约为pipeline的 2.12 倍。

    ![](./imgs/c++_qps.png)


fanruinet's avatar
fanruinet committed
265
266
<a name="Windows用户"></a>
## Windows用户
bjjwwang's avatar
win doc  
bjjwwang committed
267

fanruinet's avatar
fanruinet committed
268
Windows用户不能使用上述的启动方式,需要使用Web Service,详情参见[Windows平台使用Paddle Serving指导](https://github.com/PaddlePaddle/Serving/blob/develop/doc/Windows_Tutorial_CN.md)
bjjwwang's avatar
win doc  
bjjwwang committed
269

bjjwwang's avatar
bjjwwang committed
270
271
272
273
**WINDOWS只能使用0.5.0版本的CPU模式**

准备阶段:
```
bjjwwang's avatar
bjjwwang committed
274
pip3 install paddle-serving-server==0.5.0
bjjwwang's avatar
bjjwwang committed
275
276
pip3 install paddle-serving-app==0.3.1
```
bjjwwang's avatar
win doc  
bjjwwang committed
277
278
279
280

1. 启动服务端程序

```
tink2123's avatar
tink2123 committed
281
cd win
Thomas Young's avatar
Thomas Young committed
282
283
python3 ocr_web_server.py gpu(使用gpu方式)
或者
Thomas Young's avatar
fix doc  
Thomas Young committed
284
python3 ocr_web_server.py cpu(使用cpu方式)
bjjwwang's avatar
win doc  
bjjwwang committed
285
286
287
288
289
290
291
```

2. 发送服务请求

```
python3 ocr_web_client.py
```
tink2123's avatar
add qps  
tink2123 committed
292
293


LDOUBLEV's avatar
LDOUBLEV committed
294
<a name="FAQ"></a>
LDOUBLEV's avatar
LDOUBLEV committed
295
## FAQ
MissPenguin's avatar
MissPenguin committed
296
**Q1**: 发送请求后没有结果返回或者提示输出解码报错
LDOUBLEV's avatar
LDOUBLEV committed
297

MissPenguin's avatar
MissPenguin committed
298
**A1**: 启动服务和发送请求时不要设置代理,可以在启动服务前和发送请求前关闭代理,关闭代理的命令是:
LDOUBLEV's avatar
LDOUBLEV committed
299
300
301
302
```
unset https_proxy
unset http_proxy
```