Commit e2f8c8df authored by weishb's avatar weishb
Browse files

修改模板

parent c24e56ea
...@@ -47,10 +47,18 @@ docker run -it --shm-size 200g \ ...@@ -47,10 +47,18 @@ docker run -it --shm-size 200g \
``` ```
pip uninstall vllm pip uninstall vllm
pip uninstall numpy pip uninstall numpy
pip install vllm-0.15.1+das.opt1.alpha.dtk2604-cp310-cp310-linux_x86_64.whl pip install vllm-0.15.1+das.opt1.alpha.dtk2604-cp310-cp310-linux_x86_64.whl --no-deps
pip install numpy==1.26.1 pip install numpy==1.26.1
``` ```
## 预训练权重
**请根据`支持的DCU型号`选择对应模型下载,FP8模型仅在BW1100/BW1101上支持,其他型号请勿使用!**
| **模型名称** | **权重大小** | **DCU型号** | **最低卡数需求** | **下载地址** |
| :-----------------------------: | :----------: | :-----------: | :--------------: | :----------------------------------------------------------: |
| NVIDIA-Nemotron-3-Super-120B-A12B-BF16 | 120B | BW1000 | 8 | [Hugging Face](https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16) |
## 数据集 ## 数据集
暂无 暂无
...@@ -61,7 +69,7 @@ pip install numpy==1.26.1 ...@@ -61,7 +69,7 @@ pip install numpy==1.26.1
## 推理 ## 推理
### vllm ### vLLM
#### 单机推理 #### 单机推理
...@@ -108,15 +116,10 @@ curl http://localhost:8000/v1/chat/completions \ ...@@ -108,15 +116,10 @@ curl http://localhost:8000/v1/chat/completions \
DCU 与 GPU 精度一致,推理框架:vllm。 DCU 与 GPU 精度一致,推理框架:vllm。
## 预训练权重
| **模型名称** | **权重大小** | **DCU型号** | **最低卡数需求** | **下载地址** |
| :-----------------------------: | :----------: | :-----------: | :--------------: | :----------------------------------------------------------: |
| NVIDIA-Nemotron-3-Super-120B-A12B-BF16 | 120B | BW1000 | 8 | [Hugging Face](https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16) |
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- [https://developer.sourcefind.cn/codes/modelzoo/nvidia-nemotron-3_vllm](https://developer.sourcefind.cn/codes/modelzoo/nvidia-nemotron-3_vllm) - [https://developer.sourcefind.cn/codes/modelzoo/nvidia-nemotron-3_vllm](https://developer.sourcefind.cn/codes/modelzoo/nvidia-nemotron-3)
## 参考资料 ## 参考资料
......
# 模型唯一标识 # 模型唯一标识
modelCode=2203 modelCode=2203
# 模型名称 # 模型名称
modelName=NVIDIA-Nemotron-3_vllm modelName=NVIDIA-Nemotron-3
# 模型描述 # 模型描述
modelDescription=Nemotron-3 是由英伟达 (NVIDIA) 训练的大语言模型 (LLM),旨在提供强大的智能体 (Agentic)、推理及对话能力。该模型针对协作智能体和高负载工作场景(如 IT 工单自动化)进行了深度优化。与该系列的其他模型类似,它在响应用户查询或任务时,会采取“先生成推理轨迹 (Reasoning Trace),后给出最终回复”的模式。此外,模型的推理能力可以通过聊天模板中的标志位 (Flag) 进行灵活配置。 modelDescription=Nemotron-3 是由英伟达 (NVIDIA) 训练的大语言模型 (LLM),旨在提供强大的智能体 (Agentic)、推理及对话能力。该模型针对协作智能体和高负载工作场景(如 IT 工单自动化)进行了深度优化。与该系列的其他模型类似,它在响应用户查询或任务时,会采取“先生成推理轨迹 (Reasoning Trace),后给出最终回复”的模式。此外,模型的推理能力可以通过聊天模板中的标志位 (Flag) 进行灵活配置。
# 运行过程 # 运行过程
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment