-
zhuwenwen authored
[pd] 修改非堆成切分的判断, pd分离使用默认调度，set VLLM_USE_PD_SPLIT=1 [perf](fused-moe): 预打包 Marlin W16A16 MoE 权重，降低 warmup 显存峰值 [fix]修复丢弃MTP代码报错，pp+chunkprefill多并发input ids更新bug, 修复不开启融合图的断言错误, PP 场景 decode 阶段 token 被误丢弃导致卡住
2b7b1a31
[pd] 修改非堆成切分的判断, pd分离使用默认调度，set VLLM_USE_PD_SPLIT=1 [perf](fused-moe): 预打包 Marlin W16A16 MoE 权重，降低 warmup 显存峰值 [fix]修复丢弃MTP代码报错，pp+chunkprefill多并发input ids更新bug, 修复不开启融合图的断言错误, PP 场景 decode 阶段 token 被误丢弃导致卡住