Skip to content

GitLab

"tests/kernels/attention/test_flashinfer.py" did not exist on "e39ebf5cf5ec8f7449d633b6428333a99a206a1c"
Switch branch/tag
Find file BlameHistoryPermalink
  • laibao's avatar
    • perf(v1): 增加可选的快速 token-id 拷贝路径 · d3a95d54
    laibao authored 
      - 新增环境变量 `VLLM_V1_FAST_TOKEN_ID_COPY`（默认关闭）
  - 在 `CachedRequestState` 中缓存 int32 的 prompt token ids（numpy 数组）
  - 开启后在 `InputBatch` 中使用 `np.copyto` 拷贝 prompt/output token ids
    d3a95d54
envs.py 88.8 KB