GitLab

feat: support moe sum when topk==9

bugfix: Fix mtp model load error when eable shared experts fusion.

update VLLM_USE_LIGHTOP_RMS_ROPE_CONCAT impl

[feat]1.优化ep sequence parallel,区分主模型和mtp逻辑;2.ep sequence parallel添加cudagraph padding到tp_size;3.修复共享专家和deepep combine overlap

set VLLM_USE_LIGHTOP_RMS_ROPE_CONCAT=1

移除 fuse_moe_w16a16_marlin.py 中未被调用的量化准备逻辑与相关导入
精简 fused_experts_impl_w16a16_marlin 的未用量化参数，并同步更新 fused_moe.py 调用点
清理 marlin_quant.py 中未被 vLLM 主路径使用的函数与 __main__ 调试入口，仅保留 W16A16 权重打包所需实现
添加MOE_SUM_MUL_ADD、MOE_SUM优化

- 新增rms_rotary_embedding_fuse自定义操作
- 添加内核配置文件E=160,N=320
- 通过VLLM_USE_FUSED_RMS_ROPE环境变量控制融合路径

- 添加环境变量开关 VLLM_USE_MARLIN_W16A16_MOE（及 fused RMS+RoPE 标志位）
- 增加 W16A16 Marlin 权重重排/缓存逻辑
- 集成 lightop 的 W16A16 MoE fast path，复用打包缓存避免重复 pack 并在 GPU 卸载原布局