• Jiacheng Huang's avatar
    issue/160: 梳理 InferEngine 相关接口 · 96e53dbb
    Jiacheng Huang authored
    * 将 `cpp.LlamaForCausalLM` 提出,变为 `infinilm.infer_engine.InferEngine`
    
    * 将 `Config` 构造逻辑拆分至 `AutoConfig` 中
    
    * 在 `examples` 脚本中直接构造 `InferEngine`
    
    * 将 `random_sample` 计算放入模型中
    
    * 为 `InferEngine` 单独实现 `generate`
    
    * 允许通过 `GenerationConfig` 传递 `temperature`、`top_k`、`top_p`
    
    * 将 `random_sample` 处理从 `LlamaForCausalLM` 中转移到 `RankWorker` 里
    
    * 在 `InferEngine.generate` 中直接 `append(output_id)`
    
    * 修复 commit `13aa90c57de369f9985593c0066b6b06a7508b24` 引入的分布式卡死问题
    
    * 将 `InferEngine.forward` 的接口与 C++ 层的 `InferEngine.Input` 对齐
    
    * 提供了 `_measure_and_log_time` 参数来开启之前的 `generate` 内部计时功能
    96e53dbb
rank_worker.cpp 11.1 KB