Update README.md

README.md

@@ -15,6 +15,7 @@ Llama 2: Open Foundation and Fine-Tuned Chat Models
 
 ## 模型结构
 LLaMA，这是一个基础语言模型的集合，参数范围从7B到65B。在数万亿的tokens上训练出的模型，并表明可以专门使用公开可用的数据集来训练最先进的模型，而不依赖于专有的和不可访问的数据集。特别是，llama 13B在大多数基准测试中优于GPT-3 (175B)， LLaMA 65B与最好的模型Chinchilla-70B和PaLM-540B具有竞争力。LLAMA网络基于 Transformer 架构。提出了各种改进，并用于不同的模型，例如 PaLM。
+LLaMA2相较于LLaMA采用了更强大的数据清洗、更多的tokens训练、加倍的上下文长度，并支持了Grouped-query attention （GQA），即允许在多头注意力（MHA）模型中共享键和值投影，从而减少与缓存相关的内存成本的优化方法。通过使用 GQA，更大的模型可以在优化内存使用的同时保持性能。
 
 ![img](./llama模型结构.png)