Commit 89613cf4 authored by weishb's avatar weishb
Browse files

更新模板

parent e29bc3a2
......@@ -70,7 +70,7 @@ docker run -it \
## 推理
> 如果出现`ImportError: librocm_smi64.so.2: cannot open shaned object file: No such file or directory`报错,系机器hyhal版本较低所致,请进行升级。
### vllm
### vLLM
**mtp**功能需添加以下参数:
```
--speculative-config.method mtp \
......@@ -187,7 +187,7 @@ curl http://localhost:8001/v1/chat/completions \
DCU与GPU精度一致,推理框架:vllm。
## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/qwen3.5_vllm
- https://developer.sourcefind.cn/codes/modelzoo/qwen3.5
## 参考资料
- https://github.com/QwenLM/Qwen3.5
# 模型唯一标识
modelCode=2095
# 模型名称
modelName=qwen3.5_vllm
modelName=qwen3.5
# 模型描述
modelDescription=Qwen3.5 相对于 Qwen3 系列模型,其 Post-training 性能提升主要来自于对各类 RL 任务和环境的全面扩展,更加强调 RL 环境的难度与可泛化性,而非针对特定指标或狭隘类别的 query 进行优化。
# 运行过程
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment