GitLab

V1 采样器：新增 reduced top-k/top-p 采样路径

See merge request dcutoolkit/deeplearing/vllm!321

修复w8a8 triton config 择优位运算可能引发torch compile 编译错误，修复smquant w8a8 权重后处理位置

See merge request dcutoolkit/deeplearing/vllm!320

新增环境变量 VLLM_V1_USE_REDUCED_TOPK_TOPP_SAMPLER 用于开关控制
扩展 SamplingMetadata，增加 max_top_k 与 has_any_no_top_k
在 InputBatch 侧计算 top-k 的主机端汇总信息，避免 device 同步
更新 Sampler/TopKTopPSampler 传递并使用新参数以启用优化采样

mla模型P、D单实例单机的任意切分方式（满足D的tp>=P的tp)使用

See merge request dcutoolkit/deeplearing/vllm!315

update VLLM_USE_LIGHTOP_RMS_ROPE_CONCAT impl

支持pd分离:P做跨机pp2tp8，D做单机的tp8.

See merge request dcutoolkit/deeplearing/vllm!311

使用方式P在connector的参数添加："enable_asymmetric_p2p":true,"remote_tp_size":8,"remote_pp_size":1 这3个参数。例：
"kv_connector_extra_config":{"enable_asymmetric_p2p":true,"remote_tp_size":8,"remote_pp_size":1,"proxy_ip":"10.0.1.1","proxy_port":"30001","http_port":"20001"}

解决custom cudagraph模式需要拷贝的问题，这个需要配合dtk进行使用。

See merge request dcutoolkit/deeplearing/vllm!306

vllm：export VLLM_CUSTOM_CACHE=1
dtk：export HIP_KERNEL_EVENT_SYSTENFENCE=1

Marlin W16A16 MoE: 清理未用量化接口与辅助代码,合入算子优化

See merge request dcutoolkit/deeplearing/vllm!298

set VLLM_USE_LIGHTOP_RMS_ROPE_CONCAT=1

移除 fuse_moe_w16a16_marlin.py 中未被调用的量化准备逻辑与相关导入
精简 fused_experts_impl_w16a16_marlin 的未用量化参数，并同步更新 fused_moe.py 调用点
清理 marlin_quant.py 中未被 vLLM 主路径使用的函数与 __main__ 调试入口，仅保留 W16A16 权重打包所需实现
添加MOE_SUM_MUL_ADD、MOE_SUM优化

feat: 为Qwen3 MoE添加RMSNorm和RoPE融合优化与qwen3-480B tp8 moe配置文件

See merge request dcutoolkit/deeplearing/vllm!295

- 新增rms_rotary_embedding_fuse自定义操作
- 添加内核配置文件E=160,N=320
- 通过VLLM_USE_FUSED_RMS_ROPE环境变量控制融合路径

feat: add Marlin W16A16 MoE fast path

See merge request dcutoolkit/deeplearing/vllm!294

- 添加环境变量开关 VLLM_USE_MARLIN_W16A16_MOE（及 fused RMS+RoPE 标志位）
- 增加 W16A16 Marlin 权重重排/缓存逻辑
- 集成 lightop 的 W16A16 MoE fast path，复用打包缓存避免重复 pack 并在 GPU 卸载原布局

fix: 细化量化模型开启融合场景

See merge request dcutoolkit/deeplearing/vllm!292