No commit message

No commit message

README.md

@@ -7,13 +7,13 @@
 
 ## 论文
 
-`GLM: General Language Model Pretraining with Autoregressive Blank Infilling`
+Mixtral `: Mixture of Experts`
 
-- [https://arxiv.org/abs/2103.10360](https://arxiv.org/abs/2103.10360)
+[https://arxiv.org/pdf/2401.04088]()
 
 ## 模型结构
 
-ChatGLM-6B 是清华大学开源的开源的、支持中英双语的对话语言模型，基于 [General Language Model (GLM)](https://github.com/THUDM/GLM) 架构，具有 62 亿参数。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 具有更强大的基础模型、更完整的功能支持、更全面的开源序列。
+Mixtral 8x7B 是 Mistral AI 公司开源的大型语言模型，采用稀疏混合专家架构（Sparse Mixture of Experts），包含 8 个专家网络，每个专家具有 70 亿参数。Mixtral 8x7B 在推理时仅使用 2 个最相关的专家网络进行计算，使其在保持 470 亿参数规模训练效果的同时，实际推理时仅需要约 140 亿参数的计算量。该模型支持多语言处理能力，能够在英语、法语、德语、西班牙语、意大利语等多种语言中表现出色。通过在高质量数据集上的训练，结合多专家架构和新颖的路由算法，Mixtral 8x7B 在数学推理、代码生成、知识问答等多个基准测试中均超越了同规模的其他开源模型。作为一个完全开源的模型，Mixtral 8x7B 提供了 Apache 2.0 许可证下的模型权重和推理代码，支持商用，并可在消费级显卡上直接部署运行，为开源AI社区带来了具有里程碑意义的贡献。
 
 <div align="center">
 <img src="docs/transformers.jpg" width="300" height="400">