-
laibao authored
在 vllm/model_executor/layers/activation.py 中调整 SiluAndMul.forward_cuda:当 VLLM_USE_OPT_OP=1 时统一走 ops.silu_and_mul_opt_lightop(x) 在 vllm/_custom_ops.py 中新增并注册 silu_and_mul_opt_lightop(含 fake_impl),用于编译/非编译路径统一调用
824dde97
在 vllm/model_executor/layers/activation.py 中调整 SiluAndMul.forward_cuda:当 VLLM_USE_OPT_OP=1 时统一走 ops.silu_and_mul_opt_lightop(x) 在 vllm/_custom_ops.py 中新增并注册 silu_and_mul_opt_lightop(含 fake_impl),用于编译/非编译路径统一调用