Skip to content

GitLab

"vscode:/vscode.git/clone" did not exist on "2448751c8ec5467eb55246929b3204b901286d57"
Commit 9a4553db authored by laibao's avatar laibao
Browse files

Merge branch 'main' of http://developer.sourcefind.cn/codes/modelzoo/mixtral_vllm

parents d9be1d8f 90647e46
Hide whitespace changes
Inline Side-by-side
Showing with 1 addition and 1 deletion
README.md
View file @ 9a4553db
...@@ -27,7 +27,7 @@ Mixtral 8x7B 是 Mistral AI 公司开源的大型语言模型，采用稀疏混 ...@@ -27,7 +27,7 @@ Mixtral 8x7B 是 Mistral AI 公司开源的大型语言模型，采用稀疏混
Mixtral模型是一种稀疏专家混合（SMoE）语言模型，在每层包含多个前馈网络（专家），通过路由网络为每个输入token选择最相关的专家进行处理，从而在保持高效计算的同时提升模型性能。 Mixtral模型是一种稀疏专家混合（SMoE）语言模型，在每层包含多个前馈网络（专家），通过路由网络为每个输入token选择最相关的专家进行处理，从而在保持高效计算的同时提升模型性能。
<div align="center"> <div align="center">
<img src="docs/GLM.png" width="550" height="200"> <img src="docs/mixtrallayer.png" width="550" height="200">
</div> </div>
## 环境配置 ## 环境配置
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment