GitLab

[qwen3-480b] MoE(TN) configs for nmz TP=8
[opt] 优化deepep相关代码
[fix] 修复deepseek moe模型的awq量化推理bug和精度问题, 修复awq模型的VLLM_USE_LIGHTOP_MOE_SUM_MUL_ADD设置位置, update_state,优化性能，去除冗余操作
pcie 解决custom cudagraph模式需要拷贝的问题，需要配合dtk进行使用
[feat] Switch default w8a8 gemm impl to blaslt. Support w8a8-fp8 GEMM backend.MoE 路由抓取：新增 router_capture 工具链与 envs 统一配置
[envs] set VLLM_CUSTOM_CACHE=1、VLLM_USE_FUSED_RMS_ROPE=1、VLLM_USE_FUSED_FILL_RMS_CAT=1、VLLM_USE_FLASH_ATTN_FP8=1、VLLM_USE_FLASH_MLA_FP8=1、update VLLM_USE_TOPK_RENORM

[pd] 修改非堆成切分的判断, pd分离使用默认调度，set VLLM_USE_PD_SPLIT=1
[perf](fused-moe): 预打包 Marlin W16A16 MoE 权重，降低 warmup 显存峰值
[fix]修复丢弃MTP代码报错，pp+chunkprefill多并发input ids更新bug, 修复不开启融合图的断言错误, PP 场景 decode 阶段 token 被误丢弃导致卡住

feat: support moe sum when topk==9

bugfix: Fix mtp model load error when eable shared experts fusion.

[feat]1.优化ep sequence parallel,区分主模型和mtp逻辑;2.ep sequence parallel添加cudagraph padding到tp_size;3.修复共享专家和deepep combine overlap

移除 fuse_moe_w16a16_marlin.py 中未被调用的量化准备逻辑与相关导入
精简 fused_experts_impl_w16a16_marlin 的未用量化参数，并同步更新 fused_moe.py 调用点
清理 marlin_quant.py 中未被 vLLM 主路径使用的函数与 __main__ 调试入口，仅保留 W16A16 权重打包所需实现
添加MOE_SUM_MUL_ADD、MOE_SUM优化

- 添加环境变量开关 VLLM_USE_MARLIN_W16A16_MOE（及 fused RMS+RoPE 标志位）
- 增加 W16A16 Marlin 权重重排/缓存逻辑
- 集成 lightop 的 W16A16 MoE fast path，复用打包缓存避免重复 pack 并在 GPU 卸载原布局