Commit 0a7ff1ab authored by raojy's avatar raojy 💬
Browse files

Update README.md

parent c4cc65a4
# Hy3-preview-Base # Hy3-preview-Base
## 论文
[Hy3 preview](https://hy.tencent.com/research/hy3)
## 模型简介
Hy3-preview 是腾讯混元(Hunyuan)于 2026 年 4 月发布的最新一代混合专家模型(MoE)。该模型总参数量达 295B,推理时激活参数仅为 21B,实现了高性能与高性价比的平衡。它最大的特色在于“快慢思考融合”的推理机制,能够针对复杂逻辑任务进行深度推理,并在 256K 超长上下文理解、智能体(Agent)协作以及代码生成等核心领域表现卓越,是腾讯重建预训练与强化学习基础设施后的首个里程碑式作品。
<div align=center>
<img src="./doc/1.png"/>
</div>
## 环境依赖
| 软件 | 版本 |
| :------: | :------: |
| DTK | 2604 |
| Python | 3.10.12 |
| transformers | 5.5.0 |
| triton | 3.6.0+gitc73250c4.staging |
| flash_attn | 2.8.3+das.opt1.dtk2604.torch2100.20260330.g3f0061 |
| vllm | 0.20.0+das.dtk2604 |
推荐使用镜像:
vllm018:20260423
- 挂载地址-v根据实际模型情况修改
```bash
docker run -it \
--shm-size 256g \
--network=host \
--name hunyuan \
--privileged \
--device=/dev/kfd \
--device=/dev/dri \
--device=/dev/mkfd \
--group-add video \
--cap-add=SYS_PTRACE \
--security-opt seccomp=unconfined \
-u root \
-v /opt/hyhal/:/opt/hyhal/:ro \
-v /path/your_code_data/:/path/your_code_data/ \
vllm018:20260423 bash
```
更多镜像可前往[光源](https://sourcefind.cn/#/service-list)下载使用。
关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装。
## 预训练权重
| 模型名称 | 权重大小 | 数据类型 | 支持的DCU型号 | 最低卡数需求 | 下载地址 |
| :---: | :---: | :---: | :---: | :---: | :--- |
|Hy3-preview-Base | 295B | BF16 |BW1000 | 8 | [Hugging Face](https://huggingface.co/tencent/Hy3-preview-Base) |
## 数据集
暂无
## 训练
暂无
## 推理
### vllm
#### 单机推理
```bash
vllm serve hunyuan-v3/Tencent-Hunyuan/Hy3-preview \
--port 8001 \
--tensor-parallel-size 8 \
--speculative-config.method mtp \
--speculative-config.num_speculative_tokens 3 \
--tool-call-parser hy_v3 \
--reasoning-parser hy_v3 \
--enable-auto-tool-choice
```
## 效果展示
<div align=center>
<img src="./doc/02.png"/>
</div>
### 精度
`DCU与GPU精度一致,推理框架:Paddle。`
## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/hy3-preview-base
## 参考资料
- https://github.com/Tencent-Hunyuan/Hy3-preview
- https://huggingface.co/tencent/Hy3-preview-Base
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment