GitLab

目的：
  修复 Qwen3.5 / Qwen3.5-MoE 在升级 transformers 后的配置解析兼容问题，并优化 ROCm 下 unified attention 的路由策略，避免prefill 和 decode落到不同实现路径上，降低后续排查和行为不一致的成本

 为 Qwen3 和 Qwen3Moe 增加可选的 fused QKV split + RMSNorm + RoPE 执行路径，
  减少中间张量拆分与重复计算开销，统一相关模型的优化开关控制逻辑。

feat(v1 attention): 为 ROCm FlashAttention 接入 unified kv layout，并打通 mm_prefix、qq_bias 与 use_alibi_sqrt 透传
在 ROCm FlashAttention 后端增加 unified KV layout 选择逻辑
接入 unified varlen kernel 调用路径
在 FlashAttention metadata 中补充 mm_prefix_range 与 qq_bias 透传

支持kvacache fp8_e4m3/fp8_e5m2的RMS_ROPE_CONCAT

支持kvacache fp8_e4m3/fp8_e5m2的RMS_ROPE_CONCAT

关闭sparse_mla的num_head到64/128的pad，以及添加控制fp8_use_mixed_batch模式的环境变量控制，FP8_USE_MIXED_BATCH，默认为false，为分离模式