GitLab

fuse_moe_fp8接入marlin算子
fix(v1)：修复抢占恢复时 BlockTable 溢出
feat(moe)：新增 VLLM_USE_MOE_W16A16_TRTION 强制 Triton MoE
fix: 解决原版0消耗chunk-prefill崩溃问题
fp8增加fused_moe_gate参数

[opt] 优化epsp代码, 零消耗添加epsp
update VLLM_USE_FUSED_RMS_ROPE=0 (default). for qwen3, VLLM_USE_FUSED_RMS_ROPE=1 (default)
feat(moe/marlin): Marlin W16A16 MoE 自动探测并预打包（去掉手动开关）
perf(qwen3): 融合 q/k RMSNorm + RoPE
fused_moe_fp8接入lmslim

[qwen3-480b] MoE(TN) configs for nmz TP=8
[opt] 优化deepep相关代码
[fix] 修复deepseek moe模型的awq量化推理bug和精度问题, 修复awq模型的VLLM_USE_LIGHTOP_MOE_SUM_MUL_ADD设置位置, update_state,优化性能，去除冗余操作
pcie 解决custom cudagraph模式需要拷贝的问题，需要配合dtk进行使用
[feat] Switch default w8a8 gemm impl to blaslt. Support w8a8-fp8 GEMM backend.MoE 路由抓取：新增 router_capture 工具链与 envs 统一配置
[envs] set VLLM_CUSTOM_CACHE=1、VLLM_USE_FUSED_RMS_ROPE=1、VLLM_USE_FUSED_FILL_RMS_CAT=1、VLLM_USE_FLASH_ATTN_FP8=1、VLLM_USE_FLASH_MLA_FP8=1、update VLLM_USE_TOPK_RENORM

[pd] 修改非堆成切分的判断, pd分离使用默认调度，set VLLM_USE_PD_SPLIT=1
[perf](fused-moe): 预打包 Marlin W16A16 MoE 权重，降低 warmup 显存峰值
[fix]修复丢弃MTP代码报错，pp+chunkprefill多并发input ids更新bug, 修复不开启融合图的断言错误, PP 场景 decode 阶段 token 被误丢弃导致卡住

feat: support moe sum when topk==9

bugfix: Fix mtp model load error when eable shared experts fusion.

新增环境变量开关 VLLM_V1_FAST_TOKEN_ID_COPY（默认关闭）。开启后在 CachedRequestState 中缓存 prompt_token_ids 的 np.int32，并在 add_request 里用 np.copyto 写入 token_ids_cpu，避免长 prompt 场景反复 list->NumPy 转换开销（尤其是抢占/反复进出 batch 时）

新增环境变量 VLLM_V1_USE_REDUCED_TOPK_TOPP_SAMPLER 用于开关控制
扩展 SamplingMetadata，增加 max_top_k 与 has_any_no_top_k
在 InputBatch 侧计算 top-k 的主机端汇总信息，避免 device 同步
更新 Sampler/TopKTopPSampler 传递并使用新参数以启用优化采样

update VLLM_USE_LIGHTOP_RMS_ROPE_CONCAT impl

vllm：export VLLM_CUSTOM_CACHE=1
dtk：export HIP_KERNEL_EVENT_SYSTENFENCE=1

set VLLM_USE_LIGHTOP_RMS_ROPE_CONCAT=1

- 添加环境变量开关 VLLM_USE_MARLIN_W16A16_MOE（及 fused RMS+RoPE 标志位）
- 增加 W16A16 Marlin 权重重排/缓存逻辑
- 集成 lightop 的 W16A16 MoE fast path，复用打包缓存避免重复 pack 并在 GPU 卸载原布局