README_zh.md 1.97 KB
Newer Older
ca1yz's avatar
ca1yz committed
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
# MinerU v2.0 多GPU服务器

[English](README.md)

这是一个精简的多GPU服务器实现。

## 快速开始

### 1. 安装 MinerU

```bash
pip install --upgrade pip
pip install uv
uv pip install -U "mineru[core]"
uv pip install litserve aiohttp loguru
```

### 2. 启动服务器

```bash
python server.py
```

### 3. 启动客户端

```bash
python client.py
```

现在,`[demo](../../demo/)` 文件夹下的PDF文件将并行处理。假设您有2个GPU,如果您将 `workers_per_device` 更改为 `2`,则可以同时处理4个PDF文件!

## 自定义

### 服务器

以下示例展示了如何启动带有自定义设置的服务器:
```python
server = ls.LitServer(
    MinerUAPI(output_dir='/tmp/mineru_output'),  # 自定义输出文件夹
    accelerator='auto',  # 您可以指定 'cuda'
    devices='auto',  # "auto" 使用所有可用的GPU
    workers_per_device=1,  # 每个GPU启动一个工作实例
    timeout=False  # 禁用超时,用于长时间处理
)
server.run(port=8000, generate_client_file=False)
```

### 客户端

客户端支持同步和异步处理:

```python
import asyncio
import aiohttp
from client import mineru_parse_async

async def process_documents():
    async with aiohttp.ClientSession() as session:
        # 基本用法
        result = await mineru_parse_async(session, 'document.pdf')
        
        # 带自定义选项
        result = await mineru_parse_async(
            session, 
            'document.pdf',
            backend='pipeline',
            lang='ch',
            formula_enable=True,
            table_enable=True
        )

# 运行异步处理
asyncio.run(process_documents())
```

### 并行处理
同时处理多个文件:
```python
async def process_multiple_files():
    files = ['doc1.pdf', 'doc2.pdf', 'doc3.pdf']
    
    async with aiohttp.ClientSession() as session:
        tasks = [mineru_parse_async(session, file) for file in files]
        results = await asyncio.gather(*tasks)
    
    return results
```