Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
ChatGLM-6B_pytorch
Commits
bbf409e0
Commit
bbf409e0
authored
Sep 21, 2023
by
zhaoying1
Browse files
调整为标准格式
parent
f51eee89
Changes
3
Show whitespace changes
Inline
Side-by-side
Showing
3 changed files
with
5 additions
and
1 deletion
+5
-1
README.md
README.md
+5
-1
ptuning/media/GLMblock.png
ptuning/media/GLMblock.png
+0
-0
ptuning/media/transformers.jpg
ptuning/media/transformers.jpg
+0
-0
No files found.
README.md
View file @
bbf409e0
...
@@ -5,7 +5,11 @@
...
@@ -5,7 +5,11 @@
-
[
https://arxiv.org/abs/2103.10360
](
https://arxiv.org/abs/2103.10360
)
-
[
https://arxiv.org/abs/2103.10360
](
https://arxiv.org/abs/2103.10360
)
## 模型结构
## 模型结构
ChatGLM-6B 是清华大学开源的开源的、支持中英双语的对话语言模型,基于
[
General Language Model (GLM)
](
https://github.com/THUDM/GLM
)
架构,具有 62 亿参数。ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
ChatGLM-6B 是清华大学开源的开源的、支持中英双语的对话语言模型,基于
[
General Language Model (GLM)
](
https://github.com/THUDM/GLM
)
架构,具有 62 亿参数。ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。ChatGLM-6B采用Transformer模型结构:
<div
align=
"center"
>
<img
src=
"ptuning/media/transformers.jpg"
width=
"300"
height=
"400"
>
</div>
以下是ChatGLM-6B的主要网络参数配置:
以下是ChatGLM-6B的主要网络参数配置:
...
...
ptuning/media/GLMblock.png
deleted
100644 → 0
View file @
f51eee89
15 KB
ptuning/media/transformers.jpg
0 → 100644
View file @
bbf409e0
32.7 KB
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment