Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
BLOOM_oneflow
Commits
f6052a50
Commit
f6052a50
authored
Sep 27, 2023
by
“yuguo”
Browse files
update readme
parent
cc5ece20
Changes
4
Show whitespace changes
Inline
Side-by-side
Showing
4 changed files
with
7 additions
and
3 deletions
+7
-3
README.md
README.md
+4
-0
bloom算法原理.png
bloom算法原理.png
+0
-0
model.properties
model.properties
+2
-2
requirements.txt
requirements.txt
+1
-1
No files found.
README.md
View file @
f6052a50
...
@@ -12,6 +12,9 @@ Bloom是一个开源的支持最多59种语言和176B参数的大语言模型。
...
@@ -12,6 +12,9 @@ Bloom是一个开源的支持最多59种语言和176B参数的大语言模型。
<img
src=
"http://developer.hpccube.com/codes/modelzoo/bloom_oneflow/-/raw/main/bloom%E6%A8%A1%E5%9E%8B%E7%BB%93%E6%9E%84.png"
alt=
"bloom模型结构.png"
style=
"zoom:50%;"
/>
<img
src=
"http://developer.hpccube.com/codes/modelzoo/bloom_oneflow/-/raw/main/bloom%E6%A8%A1%E5%9E%8B%E7%BB%93%E6%9E%84.png"
alt=
"bloom模型结构.png"
style=
"zoom:50%;"
/>
## 算法原理
## 算法原理
当模型规模过于庞大,单个 GPU 设备无法容纳大规模模型参数时,便捷好用的分布式训练和推理需求就相继出现,业内也随之推出相应的工具。
当模型规模过于庞大,单个 GPU 设备无法容纳大规模模型参数时,便捷好用的分布式训练和推理需求就相继出现,业内也随之推出相应的工具。
基于 OneFlow 构建的 LiBai 模型库让分布式上手难度降到最低,用户不需要关注模型如何分配在不同的显卡设备,只需要修改几个配置数据就可以设置不同的分布式策略。当然,加速性能更是出众。
基于 OneFlow 构建的 LiBai 模型库让分布式上手难度降到最低,用户不需要关注模型如何分配在不同的显卡设备,只需要修改几个配置数据就可以设置不同的分布式策略。当然,加速性能更是出众。
...
@@ -65,6 +68,7 @@ class Linear1D(nn.Module):
...
@@ -65,6 +68,7 @@ class Linear1D(nn.Module):
# <Your Image ID>用上面拉取docker镜像的ID替换
# <Your Image ID>用上面拉取docker镜像的ID替换
docker run --shm-size 16g --network=host --name=bloom_oneflow --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v $PWD/bloom_oneflow:/home/bloom_oneflow -it <Your Image ID> bash
docker run --shm-size 16g --network=host --name=bloom_oneflow --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v $PWD/bloom_oneflow:/home/bloom_oneflow -it <Your Image ID> bash
cd /home/bloom_oneflow
cd /home/bloom_oneflow
pip3 install transformers==4.28.1
pip3 install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple
pip3 install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple
pip3 install pybind11 -i https://mirrors.aliyun.com/pypi/simple
pip3 install pybind11 -i https://mirrors.aliyun.com/pypi/simple
pip3 install -e . -i https://mirrors.aliyun.com/pypi/simple
pip3 install -e . -i https://mirrors.aliyun.com/pypi/simple
...
...
bloom算法原理.png
0 → 100644
View file @
f6052a50
32.7 KB
model.properties
View file @
f6052a50
# 模型唯一标识
# 模型唯一标识
modelCode
=
74
modelCode
=
74
# 模型名称
# 模型名称
modelName
=
BLOOM
_oneflow
modelName
=
bloom
_oneflow
# 模型描述
# 模型描述
modelDescription
=
基于Oneflow框架的bloom-7b1
modelDescription
=
基于Oneflow框架的bloom-7b1
# 应用场景(多个标签以英文逗号分割)
# 应用场景(多个标签以英文逗号分割)
appScenario
=
推理,
inference,nlp,文学创作,文本生成
appScenario
=
推理,
nlp,智能聊天助手,科研,文学创作
# 框架类型(多个标签以英文逗号分割)
# 框架类型(多个标签以英文逗号分割)
frameType
=
OneFlow,Libai
frameType
=
OneFlow,Libai
requirements.txt
View file @
f6052a50
...
@@ -22,7 +22,7 @@ portalocker
...
@@ -22,7 +22,7 @@ portalocker
dill
dill
flake8
==3.8.1
flake8
==3.8.1
isort
==5.10.1
isort
==5.10.1
black
==21.4b
2
black
==21.4b
autoflake
autoflake
tensorboardX
tensorboardX
pytest
pytest
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment