README.md 3.7 KB
Newer Older
zzg_666's avatar
zzg_666 committed
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
# MiroThinker-1.7-mini
## 论文
[MiroThinker-1.7-mini](https://arxiv.org/abs/2511.11793)

## 模型简介
我们全新推出的MiroThinker系列模型,标志着在构建面向长链任务(long-chain tasks)的可靠智能体方面取得了显著飞跃。该系列通过增强的后训练流水线(post-training pipeline)进行工程化优化,使MiroThinker-1.7家族在开源模型的深度研究(deep research)任务中实现了最先进(SOTA, State-of-the-Art)的性能表现。  
核心特性:  
- 超长上下文与深度推理:MiroThinker-1.7 支持256K上下文窗口,具备长视野推理(long-horizon reasoning)能力,可执行深度的多步分析。  
- 高并发工具调用与精准决策:单个任务最多支持 300 次工具调用,并凭借更精准的逐步推理(stepwise reasoning)与决策机制,显著提升了任务执行的可靠性。  
- 多尺度参数与灵活部署:提供300亿(30B)和 2350 亿(235B)两种参数量版本,并配套全套工具链与工作流,能够灵活适配多样化的研究场景及算力预算(compute budgets)。  
可验证的长链推理:我们专有的智能体MiroThinker-H1为长链可验证推理提供了有力实证。该机制支持步骤级可验证(step-verifiable)与全局可验证(globally verifiable)的推理过程,从而显著优化复杂智能体工作流(agentic workflows)的整体性能。

<div align=center>
    <img src="./doc/perf.jpg"/>
</div>

## 环境依赖
| 软件 | 版本 |
| :------: | :------: |
| DTK | 26.04 |
| python | 3.10.12 |
| torch | 2.9.0+das.opt1.dtk2604.20260206.g275d08c2 |
| transformers | 5.0.0.dev0 |
| vllm | 0.15.1+das.opt1.alpha.dtk2604.20260220.g2799735a |

推荐使用镜像: harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm0.15.1-ubuntu22.04-dtk26.04-0130-py3.10-20260220

- 挂载地址`-v`根据实际模型情况修改

```bash
docker run -it \
    --shm-size 200g \
    --network=host \
    --name MiroThinker-1.7-mini \
    --privileged \
    --device=/dev/kfd \
    --device=/dev/dri \
    --device=/dev/mkfd \
    --group-add video \
    --cap-add=SYS_PTRACE \
    --security-opt seccomp=unconfined \
    -u root \
    -v /opt/hyhal/:/opt/hyhal/:ro \
    -v /path/your_code_data/:/path/your_code_data/ \
    harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm0.15.1-ubuntu22.04-dtk26.04-0130-py3.10-20260220 bash
```

更多镜像可前往[光源](https://sourcefind.cn/#/service-list)下载使用,其它包安装:
```
pip install pycountry
```

## 数据集
`暂无`

## 训练
`暂无`

## 推理
### vllm
#### 单机推理
```bash
## serve启动
vllm serve miromind-ai/MiroThinker-1.7-mini --trust-remote-code --dtype bfloat16 -tp 2 --max-model-len 32768 --port 8010

## client访问
curl -X POST "http://localhost:8010/v1/chat/completions" \
        -H "Content-Type: application/json" \
        --data '{
                "model": "miromind-ai/MiroThinker-1.7-mini",
                "messages": [
                        {
                                "role": "user",
                                "content": "介绍下自己"
                        }
                ]
        }'

```

## 效果展示
<div align=center>
    <img src="./doc/result.png"/>
</div>

### 精度
`DCU与GPU精度一致,推理框架:vllm。`

## 预训练权重
| 模型名称  | 权重大小  | DCU型号  | 最低卡数需求 |下载地址|
|:-----:|:----------:|:----------:|:---------------------:|:----------:|
| MiroThinker-1.7-mini | 30B | BW1000 | 2 | [HuggingFace](https://huggingface.co/miromind-ai/MiroThinker-1.7-mini) |


## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/mirothinker-1.7-mini_vllm

## 参考资料
- https://github.com/MiroMindAI/MiroThinker