"vscode:/vscode.git/clone" did not exist on "8a31757277a4450a066a84951b669ddcb8ed10af"
Unverified Commit afdab285 authored by Xiaomeng Zhao's avatar Xiaomeng Zhao Committed by GitHub
Browse files

Merge pull request #3019 from myhloli/dev

Dev
parents 86526614 a7602a56
......@@ -18,6 +18,7 @@ docker build -t mineru-sglang:latest -f Dockerfile .
Mineru的docker使用了`lmsysorg/sglang`作为基础镜像,因此在docker中默认集成了`sglang`推理加速框架和必需的依赖环境。因此在满足条件的设备上,您可以直接使用`sglang`加速VLM模型推理。
> [!NOTE]
> 使用`sglang`加速VLM模型推理需要满足的条件是:
>
> - 设备包含Turing及以后架构的显卡,且可用显存大于等于8G。
> - 物理机的显卡驱动应支持CUDA 12.6或更高版本,`Blackwell`平台应支持CUDA 12.8及更高版本,可通过`nvidia-smi`命令检查驱动版本。
> - docker中能够访问物理机的显卡设备。
......@@ -58,9 +59,11 @@ wget https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/docker/compose.yaml
```bash
docker compose -f compose.yaml --profile mineru-api up -d
```
在浏览器中访问 `http://<server_ip>:8000/docs` 查看API文档。
>[!TIP]
>在浏览器中访问 `http://<server_ip>:8000/docs` 查看API文档。
- 启动 Gradio WebUI 服务:
```bash
docker compose -f compose.yaml --profile mineru-gradio up -d
```
在浏览器中访问 `http://<server_ip>:7860` 使用 Gradio WebUI 或访问 `http://<server_ip>:7860/?view=api` 使用 Gradio API。
\ No newline at end of file
>[!TIP]
>在浏览器中访问 `http://<server_ip>:7860` 使用 Gradio WebUI 或访问 `http://<server_ip>:7860/?view=api` 使用 Gradio API。
\ No newline at end of file
......@@ -46,10 +46,12 @@
> [!TIP]
> 以下是一些可能的使用场景:
>
> - 如果您有多张显卡,需要指定卡0和卡1,并使用多卡并行来启动'sglang-server',可以使用以下命令:
> ```bash
> CUDA_VISIBLE_DEVICES=0,1 mineru-sglang-server --port 30000 --dp-size 2
> ```
>
> - 如果您有多张显卡,需要在卡0和卡1上启动两个`fastapi`服务,并分别监听不同的端口,可以使用以下命令:
> ```bash
> # 在终端1中
......
......@@ -15,15 +15,15 @@ MinerU内置了命令行工具,用户可以通过命令行快速使用MinerU
# 默认使用pipeline后端解析
mineru -p <input_path> -o <output_path>
```
- `<input_path>`:本地 PDF/图片 文件或目录
- `<output_path>`:输出目录
> [!TIP]
> - `<input_path>`:本地 PDF/图片 文件或目录
> - `<output_path>`:输出目录
> 更多关于输出文件的信息,请参考[输出文件说明](./output_file.md)。
> [!NOTE]
> 命令行工具会在Linux和macOS系统自动尝试cuda/mps加速。Windows用户如需使用cuda加速,
> 请前往 [Pytorch官网](https://pytorch.org/get-started/locally/) 选择适合自己cuda版本的命令安装支持加速的`torch`和`torchvision`。
> [!TIP]
> 更多关于输出文件的信息,请参考[输出文件说明](./output_file.md)。
```bash
# 或指定vlm后端解析
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment