Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
ChatGLM-6B_pytorch
Commits
4e295300
Commit
4e295300
authored
Aug 29, 2024
by
dcuai
Browse files
Update conda环境dtk24.04链接
parent
cc3861a2
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
4 additions
and
3 deletions
+4
-3
README.md
README.md
+4
-3
No files found.
README.md
View file @
4e295300
...
...
@@ -17,7 +17,7 @@ ChatGLM-6B 是清华大学开源的开源的、支持中英双语的对话语言
| 模型名称 | 隐含层维度 | 层数 | 头数 | 词表大小 | 位置编码 | 最大长 |
| -------- | -------- | -------- | -------- | -------- | -------- | -------- |
|ChatGLM-6B | 4
,
096 | 28 | 32 | 130528 | RoPE | 2048 |
|ChatGLM-6B | 4096 | 28 | 32 | 130528 | RoPE | 2048 |
## 算法原理
ChatGLM-6B基于GLM架构开发。GLM是一种基于Transformer的语言模型,以自回归空白填充为训练目标, 同时具备自回归和自编码能力。
...
...
@@ -55,7 +55,7 @@ conda create -n chatglm python=3.10
```
2.
关于本项目DCU显卡所需的工具包、深度学习库等均可从
[
光合
](
https://developer.hpccube.com/tool/
)
开发者社区下载安装。
-
[
DTK 2
3
.04
](
https://cancon.hpccube.com:65024/1/main/DTK-24.04
)
-
[
DTK 2
4
.04
](
https://cancon.hpccube.com:65024/1/main/DTK-24.04
)
-
[
Pytorch 2.1.0
](
https://cancon.hpccube.com:65024/4/main/pytorch/DAS1.0
)
-
[
Deepspeed 0.12.3
](
https://cancon.hpccube.com:65024/4/main/deepspeed/DAS1.0
)
-
[
Flash_attn 2.0.4
](
https://cancon.hpccube.com:65024/4/main/flash_attn/DAS1.0
)
...
...
@@ -83,7 +83,8 @@ Hugging Face模型下载地址:
模型权重SCNet快速下载地址:
[
ChatGLM-6B
](
http://113.200.138.88:18080/aimodels/chatglm-6b
)
**为了获得训练中性能提升,请将所下载预训练模型文件夹中`modeling_chatglm.py`文件替换为本项目[model](./model/)目录下的`modeling_chatglm.py`。需要注意,推理时需使用原`modeling_chatglm.py`内的计算方式。**
****
<b><font size=10 color=red face="黑体">为了获得训练中性能提升,请将所下载预训练模型文件夹中`modeling_chatglm.py`文件替换为本项目[model](./model/)目录下的`modeling_chatglm.py`。需要注意,推理时需使用原`modeling_chatglm.py`内的计算方式。</font></b>
=======
## 训练
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment