Commit 86b1207c authored by zhougaofeng's avatar zhougaofeng
Browse files

Update README.md

parent bfad740a
......@@ -8,7 +8,7 @@
## 算法原理
Yi-1.5是Yi的升级版本它在Yi的基础上,使用一个高质量的500B token语料库进行持续的预训练,并在300万个多样化的微调样本上进行微调。与Yi相比,Yi-1.5在编程、数学、推理和遵循指令的能力方面表现更强,同时仍然保持了在语言理解、常识推理和阅读理解方面的卓越能力。
Yi-1.5是一个 decoder-only 的 transformer 模型,使用 SwiGLU激活函数、GQA、RoPE等是Yi的升级版本它在Yi的基础上进行了持续预训练,使用了500B(即500十亿)个高质量语料库的token,并在300万个多样化的微调样本上进行微调。与Yi相比,Yi-1.5在编程、数学、推理和指令遵循能力方面表现更强,同时仍然保持了在语言理解、常识推理和阅读理解方面的卓越能力。
<div align=center>
<img src="./doc/model_accuracy.png"/>
</div>
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment