Commit dfd2629b authored by zhougaofeng's avatar zhougaofeng
Browse files

Update README.md

parent 9b1fb145
...@@ -8,7 +8,7 @@ ...@@ -8,7 +8,7 @@
## 模型架构 ## 模型架构
Yi 模型采用了基于 LLaMA 实现的修改版解码器-only Transformer 架构。主要改进包括: Yi 模型采用了基于 LLaMA 实现的修改版decoder-only Transformer 架构。主要改进包括:
注意力机制: 注意力机制:
Yi 在 6B 和 34B 模型中引入了分组查询注意力(GQA),以减少训练和推理成本,同时未观察到性能下降。 Yi 在 6B 和 34B 模型中引入了分组查询注意力(GQA),以减少训练和推理成本,同时未观察到性能下降。
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment