• chenyue3's avatar
    feat(qwen3): 支持 rot_dim=64 的 fused RMS+RoPE 优化路径 · 9bf8406f
    chenyue3 authored
      launch_opt_rms_rope 增加 rot_dim=64/128 分发路径
      放宽 supports_qwen3_opt 条件,允许 rot_dim=64 进入优化分支
      qwen3 / qwen3_moe 将 q_bias、k_bias 参数统一为 q_residual、k_residual
      qwen3_moe 的自定义 op 注册增加重复注册保护"`
    9bf8406f
qwen3.py 17.3 KB