GitLab

issue/102 - 添加逐文件和逐tensor 读取权重文件的函数

issue/92 将run改为异步

issue/103 新版分布式推理基建

issue/89 在python的llama中使用matmul函数、以及减少Tensor对象创建次数

issue/97 Attention 和 KVCache 支持 batch 维度

issue/99 - relocated pybind contents

issue/95 将pybind target命名为_infinilm

Issue/74 基于InfiniCore::nn::module适配Llama模型

Signed-off-by: Ceng23333 <441651826@qq.com>

issue/86 - 添加计算结束前的同步函数

removed std::move

issue/83 - 添加AutoLlama类，支持创建不同backend的模型

修复attention prefill计时方式，重构目录

issue/80 模型文件夹名字改为为model_path,增加llama模型的moore, iluvatar平台的参数

issue/78 - 在test文件夹目录,添加qwen3的moe和attention的耗时测试脚本

issue/76 - 添加python的llama模型实现

issue/64 - jiuge.py verbose output