Skip to content

GitLab

Commit 781f653f authored by zhaoying1's avatar zhaoying1
Browse files

Update README.md

parent 38207947
Show whitespace changes
Inline Side-by-side
Showing with 2 additions and 2 deletions
README.md
View file @ 781f653f
...@@ -25,7 +25,7 @@ LLaMA模型具体参数： ...@@ -25,7 +25,7 @@ LLaMA模型具体参数：
<div align="center"> <div align="center">
<img src="./data/media/llama模型结构.png" width="600" height="500"> <img src="https://developer.hpccube.com/codes/modelzoo/llama_tencentpretrain_pytorch/-/blob/main/data/media/llama%E6%A8%A1%E5%9E%8B%E7%BB%93%E6%9E%84.pngg" width="600" height="500">
</div> </div>
LLaMA 2是LLaMA的新一代版本，具有商业友好的许可证。 LLaMA 2 有 3 种不同的尺寸：7B、13B 和 70B。Llama 2训练语料相比LLaMA多出40%，上下文长度是由之前的2048升级到4096，可以理解和生成更长的文本。Llama 2采用了 Llama 1 的大部分预训练设置和模型架构，使用标准Transformer 架构，使用 RMSNorm 应用预归一化、使用 SwiGLU 激活函数和旋转位置嵌入RoPE。 LLaMA 2是LLaMA的新一代版本，具有商业友好的许可证。 LLaMA 2 有 3 种不同的尺寸：7B、13B 和 70B。Llama 2训练语料相比LLaMA多出40%，上下文长度是由之前的2048升级到4096，可以理解和生成更长的文本。Llama 2采用了 Llama 1 的大部分预训练设置和模型架构，使用标准Transformer 架构，使用 RMSNorm 应用预归一化、使用 SwiGLU 激活函数和旋转位置嵌入RoPE。
...@@ -34,7 +34,7 @@ LLaMA 2是LLaMA的新一代版本，具有商业友好的许可证。 LLaMA 2 ...@@ -34,7 +34,7 @@ LLaMA 2是LLaMA的新一代版本，具有商业友好的许可证。 LLaMA 2
## 算法原理 ## 算法原理
<div align="center"> <div align="center">
<img src="./data/media/llama算法原理.png" width="300" height="500"> <img src="https://developer.hpccube.com/codes/modelzoo/llama_tencentpretrain_pytorch/-/blob/main/data/media/llama%E7%AE%97%E6%B3%95%E5%8E%9F%E7%90%86.png" width="300" height="500">
</div> </div>
以下是与原始架构的主要区别： 以下是与原始架构的主要区别：
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment