Commit d997b19e authored by “yuguo”'s avatar “yuguo”
Browse files

update readme

parent 62e1e5bd
......@@ -20,6 +20,8 @@
用 LiBai 搭建的 GLM 可以便捷地实现model parallel + pipeline parallel推理, 很好地解决单卡放不下大规模模型的问题。
### 分布式推理具有天然优势
要知道,模型的参数其实就是许多 tensor,也就是以矩阵的形式出现,大模型的参数也就是大矩阵,并行策略就是把大矩阵分为多个小矩阵,并分配到不同的显卡或不同的设备上,基础的 LinearLayer 在LiBai中的实现代码如下:
......@@ -73,7 +75,7 @@ class Linear1D(nn.Module):
## 数据集
下面脚本中生成。
代码中生成。
## 权重
......
# 模型唯一标识
modelCode=68
# 模型名称
modelName=GLM_oneflow
modelName=glm_oneflow
# 模型描述
modelDescription=基于Oneflow框架的glm-10b-chinese
# 应用场景(多个标签以英文逗号分割)
appScenario=推理,inference,nlp,智能聊天助手
appScenario=推理,nlp,智能聊天助手,科研,文学创作
# 框架类型(多个标签以英文逗号分割)
frameType=OneFlow,Libai
......@@ -22,7 +22,7 @@ portalocker
dill
flake8==3.8.1
isort==5.10.1
black==21.4b2
black==21.4b
autoflake
tensorboardX
pytest
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment