Commit f6052a50 authored by “yuguo”'s avatar “yuguo”
Browse files

update readme

parent cc5ece20
...@@ -12,6 +12,9 @@ Bloom是一个开源的支持最多59种语言和176B参数的大语言模型。 ...@@ -12,6 +12,9 @@ Bloom是一个开源的支持最多59种语言和176B参数的大语言模型。
<img src="http://developer.hpccube.com/codes/modelzoo/bloom_oneflow/-/raw/main/bloom%E6%A8%A1%E5%9E%8B%E7%BB%93%E6%9E%84.png" alt="bloom模型结构.png" style="zoom:50%;" /> <img src="http://developer.hpccube.com/codes/modelzoo/bloom_oneflow/-/raw/main/bloom%E6%A8%A1%E5%9E%8B%E7%BB%93%E6%9E%84.png" alt="bloom模型结构.png" style="zoom:50%;" />
## 算法原理 ## 算法原理
当模型规模过于庞大,单个 GPU 设备无法容纳大规模模型参数时,便捷好用的分布式训练和推理需求就相继出现,业内也随之推出相应的工具。 当模型规模过于庞大,单个 GPU 设备无法容纳大规模模型参数时,便捷好用的分布式训练和推理需求就相继出现,业内也随之推出相应的工具。
基于 OneFlow 构建的 LiBai 模型库让分布式上手难度降到最低,用户不需要关注模型如何分配在不同的显卡设备,只需要修改几个配置数据就可以设置不同的分布式策略。当然,加速性能更是出众。 基于 OneFlow 构建的 LiBai 模型库让分布式上手难度降到最低,用户不需要关注模型如何分配在不同的显卡设备,只需要修改几个配置数据就可以设置不同的分布式策略。当然,加速性能更是出众。
...@@ -65,6 +68,7 @@ class Linear1D(nn.Module): ...@@ -65,6 +68,7 @@ class Linear1D(nn.Module):
# <Your Image ID>用上面拉取docker镜像的ID替换 # <Your Image ID>用上面拉取docker镜像的ID替换
docker run --shm-size 16g --network=host --name=bloom_oneflow --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v $PWD/bloom_oneflow:/home/bloom_oneflow -it <Your Image ID> bash docker run --shm-size 16g --network=host --name=bloom_oneflow --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v $PWD/bloom_oneflow:/home/bloom_oneflow -it <Your Image ID> bash
cd /home/bloom_oneflow cd /home/bloom_oneflow
pip3 install transformers==4.28.1
pip3 install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple pip3 install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple
pip3 install pybind11 -i https://mirrors.aliyun.com/pypi/simple pip3 install pybind11 -i https://mirrors.aliyun.com/pypi/simple
pip3 install -e . -i https://mirrors.aliyun.com/pypi/simple pip3 install -e . -i https://mirrors.aliyun.com/pypi/simple
......
# 模型唯一标识 # 模型唯一标识
modelCode=74 modelCode=74
# 模型名称 # 模型名称
modelName=BLOOM_oneflow modelName=bloom_oneflow
# 模型描述 # 模型描述
modelDescription=基于Oneflow框架的bloom-7b1 modelDescription=基于Oneflow框架的bloom-7b1
# 应用场景(多个标签以英文逗号分割) # 应用场景(多个标签以英文逗号分割)
appScenario=推理,inference,nlp,文学创作,文本生成 appScenario=推理,nlp,智能聊天助手,科研,文学创作
# 框架类型(多个标签以英文逗号分割) # 框架类型(多个标签以英文逗号分割)
frameType=OneFlow,Libai frameType=OneFlow,Libai
...@@ -22,7 +22,7 @@ portalocker ...@@ -22,7 +22,7 @@ portalocker
dill dill
flake8==3.8.1 flake8==3.8.1
isort==5.10.1 isort==5.10.1
black==21.4b2 black==21.4b
autoflake autoflake
tensorboardX tensorboardX
pytest pytest
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment