1. 30 Dec, 2025 1 commit
  2. 29 Dec, 2025 1 commit
    • Jiacheng Huang's avatar
      issue/160: 梳理 InferEngine 相关接口 · 96e53dbb
      Jiacheng Huang authored
      * 将 `cpp.LlamaForCausalLM` 提出,变为 `infinilm.infer_engine.InferEngine`
      
      * 将 `Config` 构造逻辑拆分至 `AutoConfig` 中
      
      * 在 `examples` 脚本中直接构造 `InferEngine`
      
      * 将 `random_sample` 计算放入模型中
      
      * 为 `InferEngine` 单独实现 `generate`
      
      * 允许通过 `GenerationConfig` 传递 `temperature`、`top_k`、`top_p`
      
      * 将 `random_sample` 处理从 `LlamaForCausalLM` 中转移到 `RankWorker` 里
      
      * 在 `InferEngine.generate` 中直接 `append(output_id)`
      
      * 修复 commit `13aa90c57de369f9985593c0066b6b06a7508b24` 引入的分布式卡死问题
      
      * 将 `InferEngine.forward` 的接口与 C++ 层的 `InferEngine.Input` 对齐
      
      * 提供了 `_measure_and_log_time` 参数来开启之前的 `generate` 内部计时功能
      96e53dbb
  3. 26 Dec, 2025 2 commits
  4. 23 Dec, 2025 2 commits
  5. 19 Dec, 2025 1 commit
  6. 18 Dec, 2025 1 commit
  7. 17 Dec, 2025 1 commit
  8. 11 Dec, 2025 2 commits
  9. 09 Dec, 2025 3 commits
  10. 08 Dec, 2025 2 commits
  11. 07 Dec, 2025 1 commit
  12. 06 Dec, 2025 2 commits
  13. 04 Dec, 2025 3 commits
  14. 03 Dec, 2025 2 commits
  15. 02 Dec, 2025 1 commit