# 模型唯一标识 modelCode=990 # 模型名称 modelName=Internlm_2.5_pytorch # 模型描述 modelDescription=Internlm2.5与Internlm2模型结构相同,但取得更好效果,Internlm2采用LLama和GQA结构,相较于Internlm改进了Wqkv的权重矩阵进行交错重排,不再简单堆叠每个头的Wk、Wq和Wv矩阵。此交织重排操作大概能提高5%的训练效率。 # 应用场景 appScenario=推理,训练,对话问答,科研,教育,政府,金融 # 框架类型 frameType=Pytorch