Commit ad357486 authored by zhaoying1's avatar zhaoying1
Browse files

Update README.md

parent ffcee8c4
...@@ -25,7 +25,7 @@ LLaMA模型具体参数: ...@@ -25,7 +25,7 @@ LLaMA模型具体参数:
<div align="center"> <div align="center">
<img src="data/media/llama模型结构.png" width="500" height="400"> <img src="https://developer.hpccube.com/codes/modelzoo/llama_tencentpretrain_pytorch/-/blob/main/data/media/llama%E6%A8%A1%E5%9E%8B%E7%BB%93%E6%9E%84.png" width="500" height="400">
</div> </div>
LLaMA 2是LLaMA的新一代版本,具有商业友好的许可证。 LLaMA 2 有 3 种不同的尺寸:7B、13B 和 70B。Llama 2训练语料相比LLaMA多出40%,上下文长度是由之前的2048升级到4096,可以理解和生成更长的文本。Llama 2采用了 Llama 1 的大部分预训练设置和模型架构,使用标准Transformer 架构,使用 RMSNorm 应用预归一化、使用 SwiGLU 激活函数和旋转位置嵌入RoPE。 LLaMA 2是LLaMA的新一代版本,具有商业友好的许可证。 LLaMA 2 有 3 种不同的尺寸:7B、13B 和 70B。Llama 2训练语料相比LLaMA多出40%,上下文长度是由之前的2048升级到4096,可以理解和生成更长的文本。Llama 2采用了 Llama 1 的大部分预训练设置和模型架构,使用标准Transformer 架构,使用 RMSNorm 应用预归一化、使用 SwiGLU 激活函数和旋转位置嵌入RoPE。
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment