Commit 90cfce2d authored by dengjb's avatar dengjb
Browse files

Update README.md

parent ad5cfca1
# llm-compiler # LLM-Compiler
LLM Compiler: Specializing Code Llama for compiler optimization LLM Compiler: Specializing Code Llama for compiler optimization
## 论文 ## 论文
[Meta Large Language Model Compiler: Foundation Models of Compiler Optimization](https://scontent-sjc3-1.xx.fbcdn.net/v/t39.2365-6/448997590_1496256481254967_2304975057370160015_n.pdf?_nc_cat=106&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=9EBooh-SwxIQ7kNvgHFCHvh&_nc_ht=scontent-sjc3-1.xx&oh=00_AYAZqBNdevNLWa6cuTIuvxhG31CBJRu61vyjmbSLiV9sFg&oe=669C1E0D) [Meta Large Language Model Compiler: Foundation Models of Compiler Optimization](https://ai.meta.com/research/publications/meta-large-language-model-compiler-foundation-models-of-compiler-optimization/)
## 模型结构 ## 模型结构
...@@ -12,7 +12,7 @@ LLM编译器模型是通过在两个阶段对5460亿个编译器中心数据toke ...@@ -12,7 +12,7 @@ LLM编译器模型是通过在两个阶段对5460亿个编译器中心数据toke
## 算法原理 ## 算法原理
使用GQA模块能够带来更好的速度,使用GQA的head数量不同则会带来速度和性能平衡转换 使用GQA模块能够带来更好的速度,使用GQA的head数量不同则会带来速度和性能平衡转换
使用了RoPE位置旋转编码来替代Embedding编码,使得模型获得更好的外推性。 使用了RoPE位置旋转编码来替代Embedding编码,使得模型获得更好的外推性。
<div align=center> <div align=center>
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment