Commit 5e3cd1b0 authored by zhaoying1's avatar zhaoying1
Browse files

Update README.md

parent 7dadb9dc
......@@ -24,7 +24,9 @@ LLaMA模型具体参数:
<img src="./data/media/llama模型结构.png" alt="llama模型结构.png" style="zoom:50%;" />
<div align="center">
<img src="data/media/模型结构.png" width="300" height="400">
</div>
LLaMA 2是LLaMA的新一代版本,具有商业友好的许可证。 LLaMA 2 有 3 种不同的尺寸:7B、13B 和 70B。Llama 2训练语料相比LLaMA多出40%,上下文长度是由之前的2048升级到4096,可以理解和生成更长的文本。Llama 2采用了 Llama 1 的大部分预训练设置和模型架构,使用标准Transformer 架构,使用 RMSNorm 应用预归一化、使用 SwiGLU 激活函数和旋转位置嵌入RoPE。
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment