Commit bbf409e0 authored by zhaoying1's avatar zhaoying1
Browse files

调整为标准格式

parent f51eee89
...@@ -5,7 +5,11 @@ ...@@ -5,7 +5,11 @@
- [https://arxiv.org/abs/2103.10360](https://arxiv.org/abs/2103.10360) - [https://arxiv.org/abs/2103.10360](https://arxiv.org/abs/2103.10360)
## 模型结构 ## 模型结构
ChatGLM-6B 是清华大学开源的开源的、支持中英双语的对话语言模型,基于 [General Language Model (GLM)](https://github.com/THUDM/GLM) 架构,具有 62 亿参数。ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。 ChatGLM-6B 是清华大学开源的开源的、支持中英双语的对话语言模型,基于 [General Language Model (GLM)](https://github.com/THUDM/GLM) 架构,具有 62 亿参数。ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。ChatGLM-6B采用Transformer模型结构:
<div align="center">
<img src="ptuning/media/transformers.jpg" width="300" height="400">
</div>
以下是ChatGLM-6B的主要网络参数配置: 以下是ChatGLM-6B的主要网络参数配置:
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment