• zhuwenwen's avatar
    feat: 添加输出占位符功能以优化调度 · 57c0544e
    zhuwenwen authored
    - 在环境变量中引入 `VLLM_ENABLE_OUTPUT_PLACEHOLDERS` 以控制输出占位符的启用。
    - 在 `Request` 类中增加 `num_output_placeholders` 属性,用于跟踪预计生成的 token 数量。
    - 更新调度逻辑以利用输出占位符,确保在解码过程中避免 0-token 停滞。
    - 移除不再使用的最小进度注入相关代码,简化调度器实现。
    57c0544e
request.py 8.81 KB