Skip to content

GitLab

Closed
Created by liuxiaofeng@liuxiaofeng

如何计算 llama 的首字推理延迟？

您好，目前项目上需要计算 llama 在不同设置下的首字推理延迟，计算流程如下图： image

请问应该怎么修改代码来实现上述需求呢？