README.md

# magic_pdf

## 安装

### 以下演示在223节点安装pdf解析模块（可以直接使用镜像：1177ea7959ce）

### 1、下载本项目

`git clone http://developer.sourcefind.cn/codes/zhiAn123/magic_pdf.git`

### 2、下载需要的模型库


下载qwen模型：[快速下载通道](http://113.200.138.88:18080/aimodels/qwen/Qwen2-VL-7B-Instruct.git)

下载PDF解析需要的模型：

（1）`git lfs clone https://www.modelscope.cn/opendatalab/PDF-Extract-Kit.git`

（2）使用魔搭下载

`pip install modelscope`

`from modelscope import snapshot_download`

`model_dir = snapshot_download('opendatalab/PDF-Extract-Kit')`


### 3、安装需要的依赖库

#### 进入主目录（以下内容都在主目录下进行）

`cd magic_pdf`

执行本地源码安装

#### pip install -e .

### 4、修改magic-pdf.template.json

<div align=center>
    <img src="doc/image (9).png"/>
</div>

"models-dir":"/home/practice/model/PDF-Extract-Kit/models" 路径指向PDF-Extract-Kit/models

将magic-pdf.template.json 拷贝到/root目录下并改名为magic-pdf.json

<div align=center>
    <img src="doc/image (10).png"/>
</div>

### 5、启动qwen-ocr模块：

修改magic_pdf/magic_pdf/dict2md/ocr_server.py文件中模型路径地址

<div align=center>
    <img src="doc/image11.png"/>
</div>

#### qwen-ocr服务启动代码：

`python magic_pdf/dict2md/ocr_server.py`

默认使用6020端口，0号DCU卡 ，可以通过--dcu_id 指定卡，--server_port指定端口号，-c 指定qwen模型地址

qwen-ocr模块启动成功：
<div align=center>
    <img src="doc/image (5).png"/>
</div>

### 5、启动pdf-server解析服务：

#### pdf-server解析服务启动代码：

`python magic_pdf/tools/pdf_server.py`

默认使用6030端口，0号DCU卡 ，可以通过--dcu_id 指定卡，--pdf_port指定端口号

<div align=center>
    <img src="doc/image (6).png"/>
</div>

启动成功：
<div align=center>
    <img src="doc/image (7).png"/>
</div>

### 6、解析pdf
`python magic_pdf/parse/common_parse.py -p [文件/目录 路径] -o [输出地址]`
<div align=center>
    <img src="doc/image (8).png"/>
</div>
-p指定pdf路径，-o指定输出路径