Skip to content

GitLab

Commit 476d2f1e authored by ACzhangchao's avatar ACzhangchao
Browse files

Update README

parent 0acb55cc
Hide whitespace changes
Inline Side-by-side
Showing with 2 additions and 2 deletions
README.md
View file @ 476d2f1e
...@@ -8,13 +8,13 @@ https://www.modelscope.cn/models/JiuTian-AI/JIUTIAN-139MoE-chat/file/view/master ...@@ -8,13 +8,13 @@ https://www.modelscope.cn/models/JiuTian-AI/JIUTIAN-139MoE-chat/file/view/master
JIUTIAN-139MoE是一个拥有130亿参数的大型语言模型，使用解码器型的MoE架构，包含一对大专家和六个小专家。模型支持在不同GPU和NPU集群上训练，并能无损切换。在FFN层采用MoE设计，有特殊的激活和路由机制。 JIUTIAN-139MoE是一个拥有130亿参数的大型语言模型，使用解码器型的MoE架构，包含一对大专家和六个小专家。模型支持在不同GPU和NPU集群上训练，并能无损切换。在FFN层采用MoE设计，有特殊的激活和路由机制。
![](D:\文档\JIUTIAN-139MoE-chat\jiutian.png) ![](https://developer.sourcefind.cn/codes/modelzoo/jiutian-139moe-chat/-/raw/main/jiutian.png?inline=false)
## 算法原理 ## 算法原理
JIUTIAN-139MoE利用Mixture-of-Experts (MoE) 架构，通过不同规模的专家网络处理不同的数据特征，并通过门控机制智能地分配任务给最合适的专家，从而提高模型处理复杂问题的能力。 JIUTIAN-139MoE利用Mixture-of-Experts (MoE) 架构，通过不同规模的专家网络处理不同的数据特征，并通过门控机制智能地分配任务给最合适的专家，从而提高模型处理复杂问题的能力。
![](D:\文档\JIUTIAN-139MoE-chat\MoE.png) ![](https://developer.sourcefind.cn/codes/modelzoo/jiutian-139moe-chat/-/raw/main/MoE.png?inline=false)
## 环境配置 ## 环境配置
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment