Update README.md

README.md

@@ -5,6 +5,14 @@
 `InternLM-Math: Open Math Large Language Models Toward Verifiable Reasoning`
 
 - [https://arxiv.org/abs/2402.06332]
+
+## 模型结构
+Internlm2_math在Internlm2模型上继续用约100B的高质量数学相关令牌进行预训练，并用约200万的双语数学监督数据进行SFT。Internlm2采用LLama+GQA结构，将Internlm中Wqkv矩阵堆叠排放，改进为交错重排，大概能提高5%的训练效率。
+<div align=center>
+    <img src="doc/struct.png"/>
+</div>
+
+
 ## 算法原理
 
 InternLM-Math是基于InternLM2-Base模型进行数学预训练得到的大型语言模型。融合了链式推理、奖励建模、数据增强和形式推理等多种能力，不仅可以解决数学问题，还可以验证推理过程的正确性。竞赛级别的MATH基准测试的准确率优于更大参数量的qwen-72B、Llemma-34B等模型