Commit ffcee8c4 authored by zhaoying1's avatar zhaoying1
Browse files

Update README.md

parent af176f0d
......@@ -25,7 +25,7 @@ LLaMA模型具体参数:
<div align="center">
<img src="data/media/模型结构.png" width="500" height="400">
<img src="data/media/llama模型结构.png" width="500" height="400">
</div>
LLaMA 2是LLaMA的新一代版本,具有商业友好的许可证。 LLaMA 2 有 3 种不同的尺寸:7B、13B 和 70B。Llama 2训练语料相比LLaMA多出40%,上下文长度是由之前的2048升级到4096,可以理解和生成更长的文本。Llama 2采用了 Llama 1 的大部分预训练设置和模型架构,使用标准Transformer 架构,使用 RMSNorm 应用预归一化、使用 SwiGLU 激活函数和旋转位置嵌入RoPE。
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment