GitLab

chunked prefill 时如果在 prefill 中途做 prompt KV 压缩，会导致下一段 prefill 只能看到被截断的历史（语义变化/质量塌陷）。
改为“scheme 3”：仅在每个请求的最后一个 prefill chunk 计算一次全局 prompt Top-K 索引并缓存；在第一次 decode 前执行一次性 in-place compaction。
补充 prompt keep/budget 计算辅助函数，并新增 Triton KV cache gather/compaction 实现。