Commit f6795fd3 authored by raojy's avatar raojy 💬
Browse files

Update README.md

parent feafde59
# NVIDIA-Nemotron-3-Super-120B-A12B-BF16_vllm
# NVIDIA-Nemotron-3-Super-120B-A12B-BF16 # NVIDIA-Nemotron-3-Super-120B-A12B-BF16
## 论文 ## 论文
...@@ -126,19 +124,9 @@ DCU 与 GPU 精度一致,推理框架:vllm。 ...@@ -126,19 +124,9 @@ DCU 与 GPU 精度一致,推理框架:vllm。
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- [https://developer.sourcefind.cn/codes/modelzoo/nemotron3_vllm](https://www.google.com/search?q=https://developer.sourcefind.cn/codes/modelzoo/nemotron3_vllm) - [https://developer.sourcefind.cn/codes/modelzoo/nemotron3_vllm](https://developer.sourcefind.cn/codes/modelzoo/nvidia-nemotron-3-super-120b-a12b-bf16_vllm)
## 参考资料 ## 参考资料
- https://github.com/vllm-project/vllm - [https://github.com/NVIDIA-NeMo/Nemotron](https://github.com/NVIDIA-NeMo/Nemotron)
- [https://build.nvidia.com/nvidia/nemotron-3-super-120b](https://www.google.com/search?q=https://build.nvidia.com/nvidia/nemotron-3-super-120b)
------
**建议操作:**
1. 确认镜像名称中的后缀是否需要修改为 `nemotron3_120b`
2. 确认单机 8 卡 TP=8 时,K100 AI 的显存是否足以承载 120B BF16 模型(通常需要约 240GB 显存,K100 AI 单卡 80GB 则 8 卡充足)。
3. 如果模型有特殊的 `reasoning-parser`,请在 `vllm serve` 命令中添加。
需要我为你生成其他型号(如 Nemotron-3-8B)的配置吗?
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment