-
laibao authored
- 使用 get_moe_cuda_marlin_config_w16a16(status) 判断 W16A16 Marlin MoE 是否可用 - 在 FusedMoE 初始化阶段计算并缓存 _marlin_w16a16_moe_enabled,满足条件时强制 use_nn_moe=False - 权重加载后按缓存结果进行一次性 Marlin pack;运行时按 packed 标记走 Marlin fast path - 删除 envs.py 中 VLLM_USE_MARLIN_W16A16_MOE 环境变量定义与解析逻辑
714a7573