Commit 0acb55cc authored by ACzhangchao's avatar ACzhangchao
Browse files

add png

parent a57fb071
MoE.png

194 KB

......@@ -8,13 +8,13 @@ https://www.modelscope.cn/models/JiuTian-AI/JIUTIAN-139MoE-chat/file/view/master
JIUTIAN-139MoE是一个拥有130亿参数的大型语言模型,使用解码器型的MoE架构,包含一对大专家和六个小专家。模型支持在不同GPU和NPU集群上训练,并能无损切换。在FFN层采用MoE设计,有特殊的激活和路由机制。
![](D:\相关图片\jiutian.png)
![](D:\文档\JIUTIAN-139MoE-chat\jiutian.png)
## 算法原理
JIUTIAN-139MoE利用Mixture-of-Experts (MoE) 架构,通过不同规模的专家网络处理不同的数据特征,并通过门控机制智能地分配任务给最合适的专家,从而提高模型处理复杂问题的能力。
![](D:\相关图片\MoE.png)
![](D:\文档\JIUTIAN-139MoE-chat\MoE.png)
## 环境配置
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment