Commit 8a6b41b0 authored by chenzk's avatar chenzk
Browse files

v1.0.2

parent 9c276d56
......@@ -2,7 +2,7 @@
Llama 3.2支持12.8万个token的上下文长度,在图像识别和其他视觉理解任务上能够与OpenAI的GPT 4o-mini相媲美,其中3B计算量的模型方便用于边缘端部署,Llama 3.2 3B模型在IFEval评测中达到了Llama 3.1 8B的水平。
## 论文
`Open and Efficient Foundation Language Models`
- https://arxiv.org/pdf/2405.14458
- https://arxiv.org/pdf/2302.13971
## 模型结构
Llama 3.2继续沿用Decoder-only结构,支持大型上下文窗口(最多 128K 个标记),其GQA在推理过程提速比较明显。
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment