Commit d4bf3227 authored by zhougaofeng's avatar zhougaofeng
Browse files

Update README.md

parent 21e40ce3
...@@ -7,7 +7,8 @@ ...@@ -7,7 +7,8 @@
- [https://arxiv.org/abs/2403.04652] - [https://arxiv.org/abs/2403.04652]
## 算法原理 ## 算法原理
Yi-1.5-6B 是一个 decoder-only 的 transformer 模型,使用 SwiGLU激活函数、GQA、RoPE等 Yi-1.5是一个 decoder-only 的 transformer 模型,使用 SwiGLU激活函数、GQA、RoPE等是Yi的升级版本,它在Yi的基础上进行了持续预训练,使用了500B(即500十亿)个高质量语料库的token,并且在300万个多样化的微调样本上进行了微调。
与Yi相比,Yi-1.5在编程、数学、推理和指令遵循能力方面表现更强,同时仍然保持了在语言理解、常识推理和阅读理解方面的卓越能力。
## 环境配置 ## 环境配置
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment