Skip to content

GitLab

Switch branch/tag
  1. 10 Feb, 2026 10 commits
  3. 06 Feb, 2026 1 commit
  5. 04 Feb, 2026 8 commits
  7. 30 Jan, 2026 2 commits
  9. 23 Jan, 2026 3 commits
  11. 22 Jan, 2026 1 commit
  13. 20 Jan, 2026 1 commit
  15. 19 Jan, 2026 1 commit
  17. 16 Jan, 2026 1 commit
  19. 14 Jan, 2026 2 commits
  21. 13 Jan, 2026 1 commit
  23. 09 Jan, 2026 1 commit
  25. 08 Jan, 2026 1 commit
  27. 06 Jan, 2026 1 commit
  29. 04 Jan, 2026 1 commit
  31. 30 Dec, 2025 1 commit
  33. 29 Dec, 2025 1 commit
    • Jiacheng Huang's avatar
      issue/160: 梳理 InferEngine 相关接口 · 96e53dbb
      Jiacheng Huang authored 
      * 将 `cpp.LlamaForCausalLM` 提出，变为 `infinilm.infer_engine.InferEngine`

* 将 `Config` 构造逻辑拆分至 `AutoConfig` 中

* 在 `examples` 脚本中直接构造 `InferEngine`

* 将 `random_sample` 计算放入模型中

* 为 `InferEngine` 单独实现 `generate`

* 允许通过 `GenerationConfig` 传递 `temperature`、`top_k`、`top_p`

* 将 `random_sample` 处理从 `LlamaForCausalLM` 中转移到 `RankWorker` 里

* 在 `InferEngine.generate` 中直接 `append(output_id)`

* 修复 commit `13aa90c57de369f9985593c0066b6b06a7508b24` 引入的分布式卡死问题

* 将 `InferEngine.forward` 的接口与 C++ 层的 `InferEngine.Input` 对齐

* 提供了 `_measure_and_log_time` 参数来开启之前的 `generate` 内部计时功能
      96e53dbb
  35. 26 Dec, 2025 3 commits