vllm/v1/worker/gpu_input_batch.py · d3a95d5416eb5535b2668e39955d56f58b0e7fea · OpenDAS / vllm_cscc

• perf(v1): 增加可选的快速 token-id 拷贝路径 · d3a95d54

laibao authored Feb 20, 2026

  - 新增环境变量 `VLLM_V1_FAST_TOKEN_ID_COPY`（默认关闭）
  - 在 `CachedRequestState` 中缓存 int32 的 prompt token ids（numpy 数组）
  - 开启后在 `InputBatch` 中使用 `np.copyto` 拷贝 prompt/output token ids

d3a95d54

gpu_input_batch.py 44.3 KB

Replace gpu_input_batch.py