# 模型唯一标识
modelCode=1100
# 模型名称
modelName=internlm_vllm
# 模型描述
modelDescription=Internlm2.5与Internlm2模型结构相同,但取得更好效果,Internlm2采用LLama和GQA结构,相较于Internlm改进了Wqkv的权重矩阵进行交错重排,不再简单堆叠每个头的Wk、Wq和Wv矩阵
# 应用场景 appScenario=推理,对话问答,科研,教育,政府,金融 # 框架类型 frameType=vllm