Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
GLM_oneflow
Commits
d997b19e
Commit
d997b19e
authored
Sep 27, 2023
by
“yuguo”
Browse files
update readme
parent
62e1e5bd
Changes
4
Hide whitespace changes
Inline
Side-by-side
Showing
4 changed files
with
6 additions
and
4 deletions
+6
-4
README.md
README.md
+3
-1
glm算法原理.png
glm算法原理.png
+0
-0
model.properties
model.properties
+2
-2
requirements.txt
requirements.txt
+1
-1
No files found.
README.md
View file @
d997b19e
...
...
@@ -20,6 +20,8 @@
用 LiBai 搭建的 GLM 可以便捷地实现model parallel + pipeline parallel推理, 很好地解决单卡放不下大规模模型的问题。
### 分布式推理具有天然优势
要知道,模型的参数其实就是许多 tensor,也就是以矩阵的形式出现,大模型的参数也就是大矩阵,并行策略就是把大矩阵分为多个小矩阵,并分配到不同的显卡或不同的设备上,基础的 LinearLayer 在LiBai中的实现代码如下:
...
...
@@ -73,7 +75,7 @@ class Linear1D(nn.Module):
## 数据集
在
下面脚本
中生成。
在
代码
中生成。
## 权重
...
...
glm算法原理.png
0 → 100644
View file @
d997b19e
261 KB
model.properties
View file @
d997b19e
# 模型唯一标识
modelCode
=
68
# 模型名称
modelName
=
GLM
_oneflow
modelName
=
glm
_oneflow
# 模型描述
modelDescription
=
基于Oneflow框架的glm-10b-chinese
# 应用场景(多个标签以英文逗号分割)
appScenario
=
推理,
inference,
nlp,智能聊天助手
appScenario
=
推理,nlp,智能聊天助手
,科研,文学创作
# 框架类型(多个标签以英文逗号分割)
frameType
=
OneFlow,Libai
requirements.txt
View file @
d997b19e
...
...
@@ -22,7 +22,7 @@ portalocker
dill
flake8
==3.8.1
isort
==5.10.1
black
==21.4b
2
black
==21.4b
autoflake
tensorboardX
pytest
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment