-
laibao authored
新增环境变量 VLLM_USE_MARLIN_W16A16_MOE，用于显式启用 Marlin W16A16 MoE experts 在 fused_moe 中当开关开启且实现可用时，调用 fused_experts_impl_w16a16_marlin 增加 Marlin W16A16 MoE 实现与 reduce 路径
bd70dbb7
新增环境变量 VLLM_USE_MARLIN_W16A16_MOE，用于显式启用 Marlin W16A16 MoE experts 在 fused_moe 中当开关开启且实现可用时，调用 fused_experts_impl_w16a16_marlin 增加 Marlin W16A16 MoE 实现与 reduce 路径