GitLab

issue/116 - using batched rope

issue/115 - 添加 bench.py

issue/114 - 添加读取.bin文件权重的代码，更新readme

issue/114 QKVParallelLinear, GateUpParallelLinear

issue/111 - 9g7b分布式

issue/102 - 添加逐文件和逐tensor 读取权重文件的函数

issue/92 将run改为异步

issue/103 新版分布式推理基建

issue/89 在python的llama中使用matmul函数、以及减少Tensor对象创建次数

issue/97 Attention 和 KVCache 支持 batch 维度

issue/99 - relocated pybind contents

issue/95 将pybind target命名为_infinilm

Issue/74 基于InfiniCore::nn::module适配Llama模型

Signed-off-by: Ceng23333 <441651826@qq.com>

issue/86 - 添加计算结束前的同步函数

removed std::move

issue/83 - 添加AutoLlama类，支持创建不同backend的模型

修复attention prefill计时方式，重构目录

issue/80 模型文件夹名字改为为model_path,增加llama模型的moore, iluvatar平台的参数