Commit a87c787b authored by dcuai's avatar dcuai
Browse files

Update model.properties

parent 369a69f4
# 模型唯一标识 # 模型唯一标识
modelCode=990 modelCode=990
# 模型名称 # 模型名称
modelName=internlm_2.5_pytorch modelName=Internlm_2.5_pytorch
# 模型描述 # 模型描述
modelDescription=Internlm2.5与Internlm2模型结构相同,但取得更好效果,Internlm2采用LLama和GQA结构,相较于Internlm改进了Wqkv的权重矩阵进行交错重排,不再简单堆叠每个头的Wk、Wq和Wv矩阵。此交织重排操作大概能提高5%的训练效率。 modelDescription=Internlm2.5与Internlm2模型结构相同,但取得更好效果,Internlm2采用LLama和GQA结构,相较于Internlm改进了Wqkv的权重矩阵进行交错重排,不再简单堆叠每个头的Wk、Wq和Wv矩阵。此交织重排操作大概能提高5%的训练效率。
# 应用场景 # 应用场景
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment