# Hy3-preview-Base

## 论文
[Hy3 preview](https://hy.tencent.com/research/hy3)

## 模型简介
Hy3-preview 是腾讯混元（Hunyuan）于 2026 年 4 月发布的最新一代混合专家模型（MoE）。该模型总参数量达 295B，推理时激活参数仅为 21B，实现了高性能与高性价比的平衡。它最大的特色在于“快慢思考融合”的推理机制，能够针对复杂逻辑任务进行深度推理，并在 256K 超长上下文理解、智能体（Agent）协作以及代码生成等核心领域表现卓越，是腾讯重建预训练与强化学习基础设施后的首个里程碑式作品。

<div align=center>
    <img src="./doc/1.png"/>
</div>

## 环境依赖

| 软件 | 版本 |
| :------: | :------: |
| DTK | 2604 |
| Python | 3.10.12 |
| transformers | 5.5.0 |
| triton | 3.6.0+gitc73250c4.staging |
| flash_attn | 2.8.3+das.opt1.dtk2604.torch2100.20260330.g3f0061 |
| vllm | 0.20.0+das.dtk2604 |


推荐使用镜像:
vllm018:20260423
- 挂载地址-v根据实际模型情况修改
```bash
docker run -it \
    --shm-size 256g \
    --network=host \
    --name hunyuan \
    --privileged \
    --device=/dev/kfd \
    --device=/dev/dri \
    --device=/dev/mkfd \
    --group-add video \
    --cap-add=SYS_PTRACE \
    --security-opt seccomp=unconfined \
    -u root \
    -v /opt/hyhal/:/opt/hyhal/:ro \
    -v /path/your_code_data/:/path/your_code_data/ \
    vllm018:20260423 bash
```
更多镜像可前往[光源](https://sourcefind.cn/#/service-list)下载使用。

关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装。

## 预训练权重
| 模型名称 | 权重大小 | 数据类型 | 支持的DCU型号 | 最低卡数需求 | 下载地址 |
| :---: | :---: | :---: | :---: | :---: | :--- |
|Hy3-preview-Base | 295B |  BF16 |BW1000 | 8 | [Hugging Face](https://huggingface.co/tencent/Hy3-preview-Base) |



## 数据集
暂无
## 训练
暂无

## 推理

### vllm
#### 单机推理

```bash
vllm serve hunyuan-v3/Tencent-Hunyuan/Hy3-preview \
  --port 8001 \
  --tensor-parallel-size 8 \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 3 \
  --tool-call-parser hy_v3 \
  --reasoning-parser hy_v3 \
  --enable-auto-tool-choice
```



## 效果展示

<div align=center>
    <img src="./doc/02.png"/>
</div>

### 精度
`DCU与GPU精度一致，推理框架：Paddle。`

## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/hy3-preview-base

## 参考资料
- https://github.com/Tencent-Hunyuan/Hy3-preview
- https://huggingface.co/tencent/Hy3-preview-Base