Commit d997b19e authored by “yuguo”'s avatar “yuguo”
Browse files

update readme

parent 62e1e5bd
...@@ -20,6 +20,8 @@ ...@@ -20,6 +20,8 @@
用 LiBai 搭建的 GLM 可以便捷地实现model parallel + pipeline parallel推理, 很好地解决单卡放不下大规模模型的问题。 用 LiBai 搭建的 GLM 可以便捷地实现model parallel + pipeline parallel推理, 很好地解决单卡放不下大规模模型的问题。
### 分布式推理具有天然优势 ### 分布式推理具有天然优势
要知道,模型的参数其实就是许多 tensor,也就是以矩阵的形式出现,大模型的参数也就是大矩阵,并行策略就是把大矩阵分为多个小矩阵,并分配到不同的显卡或不同的设备上,基础的 LinearLayer 在LiBai中的实现代码如下: 要知道,模型的参数其实就是许多 tensor,也就是以矩阵的形式出现,大模型的参数也就是大矩阵,并行策略就是把大矩阵分为多个小矩阵,并分配到不同的显卡或不同的设备上,基础的 LinearLayer 在LiBai中的实现代码如下:
...@@ -73,7 +75,7 @@ class Linear1D(nn.Module): ...@@ -73,7 +75,7 @@ class Linear1D(nn.Module):
## 数据集 ## 数据集
下面脚本中生成。 代码中生成。
## 权重 ## 权重
......
# 模型唯一标识 # 模型唯一标识
modelCode=68 modelCode=68
# 模型名称 # 模型名称
modelName=GLM_oneflow modelName=glm_oneflow
# 模型描述 # 模型描述
modelDescription=基于Oneflow框架的glm-10b-chinese modelDescription=基于Oneflow框架的glm-10b-chinese
# 应用场景(多个标签以英文逗号分割) # 应用场景(多个标签以英文逗号分割)
appScenario=推理,inference,nlp,智能聊天助手 appScenario=推理,nlp,智能聊天助手,科研,文学创作
# 框架类型(多个标签以英文逗号分割) # 框架类型(多个标签以英文逗号分割)
frameType=OneFlow,Libai frameType=OneFlow,Libai
...@@ -22,7 +22,7 @@ portalocker ...@@ -22,7 +22,7 @@ portalocker
dill dill
flake8==3.8.1 flake8==3.8.1
isort==5.10.1 isort==5.10.1
black==21.4b2 black==21.4b
autoflake autoflake
tensorboardX tensorboardX
pytest pytest
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment