- 08 Jan, 2026 1 commit
-
-
laibao authored
-
- 07 Jan, 2026 4 commits
-
-
laibao authored
- fused_experts_impl 增加 VLLM_USE_MARLIN_W16A16_MOE fast path:首次对 w1/w2 做 Marlin pack 后缓存,避免重复 reorder;并将原始 权重 offload 到 CPU,降低 GPU 双份驻留 - envs 补齐环境变量 VLLM_USE_LIGHTOP_MOE_SUM_MUL_ADD - 更新 fuse_moe_w16a16_marlin.py 的报错提示为 VLLM_USE_LIGHTOP=1 -
zhuwenwen authored
-
laibao authored
新增环境变量开关 VLLM_V1_FAST_TOKEN_ID_COPY(默认关闭)。开启后在 CachedRequestState 中缓存 prompt_token_ids 的 np.int32,并在 add_request 里用 np.copyto 写入 token_ids_cpu,避免长 prompt 场景反复 list->NumPy 转换开销(尤其是抢占/反复进出 batch 时)
-
zhuwenwen authored
-
- 06 Jan, 2026 3 commits
- 05 Jan, 2026 9 commits
- 04 Jan, 2026 1 commit
-
-
laibao authored
实现了用于优化张量计算的 rms_mrope_fuse 和 rms_mrope_fuse_fake 方法 更新了 forward:在满足条件时走新的 M-RoPE 融合路径 增强了 Qwen3MoeModel 对动态参数维度的支持,以适配该功能
-
- 24 Dec, 2025 4 commits
- 23 Dec, 2025 1 commit
-
-
yangql authored
-
- 22 Dec, 2025 4 commits
- 20 Dec, 2025 1 commit
-
-
zhuwenwen authored
-
- 18 Dec, 2025 1 commit
-
-
xuxz authored
-
- 17 Dec, 2025 2 commits
- 16 Dec, 2025 1 commit
-
-
laibao authored
新增环境变量 VLLM_USE_MARLIN_W16A16_MOE,用于显式启用 Marlin W16A16 MoE experts 在 fused_moe 中当开关开启且实现可用时,调用 fused_experts_impl_w16a16_marlin 增加 Marlin W16A16 MoE 实现与 reduce 路径
-
- 12 Dec, 2025 2 commits
- 05 Dec, 2025 2 commits
- 04 Dec, 2025 4 commits