Commit f94a51ef authored by aiss's avatar aiss
Browse files

update and modify readme

parent 4c972a6e
...@@ -2,12 +2,12 @@ ...@@ -2,12 +2,12 @@
## 安装 ## 安装
DeepSpeed 支持 DeepSpeed 支持
+ Python 3.7.
+ Python 3.8. + Python 3.8.
+ Python 3.9. + Python 3.9.
+ Python 3.10.
### 使用pip安装 ### 使用pip安装
DeepSpeed whl包下载目录:[https://cancon.hpccube.com:65024/4/main/deepspeed/dtk23.04](https://cancon.hpccube.com:65024/4/main/deepspeed/dtk23.04) DeepSpeed whl包下载目录:[https://cancon.hpccube.com:65024/4/main/deepspeed/dtk23.10](https://cancon.hpccube.com:65024/4/main/deepspeed/dtk23.10)
根据对应的pytorch版本和python版本,下载对应deepspeed的whl包 根据对应的pytorch版本和python版本,下载对应deepspeed的whl包
```shell ```shell
...@@ -17,7 +17,7 @@ pip install deepspeed* (下载的deepspeed的whl包) ...@@ -17,7 +17,7 @@ pip install deepspeed* (下载的deepspeed的whl包)
### 使用源码安装 ### 使用源码安装
编译之前,需要先安装对应版本python,安装相应的三方包依赖项,并配置DTK环境变量(以Centos7.x为例)。 编译之前,需要先安装对应版本python,安装相应的三方包依赖项,并配置DTK环境变量(以Centos7.x为例)。
pytorch whl包下载目录:[https://cancon.hpccube.com:65024/4/main/pytorch/dtk23.04](https://cancon.hpccube.com:65024/4/main/pytorch/dtk23.04) pytorch whl包下载目录:[https://cancon.hpccube.com:65024/4/main/pytorch/dtk23.10](https://cancon.hpccube.com:65024/4/main/pytorch/dtk23.10)
根据python版本,下载对应pytorch的whl包。如果是基于pytorch1.13,需要注释掉op_builder/builder.py中大概L659: 根据python版本,下载对应pytorch的whl包。如果是基于pytorch1.13,需要注释掉op_builder/builder.py中大概L659:
```bash ```bash
...@@ -36,7 +36,7 @@ yum -y install openssl openssl-devel ...@@ -36,7 +36,7 @@ yum -y install openssl openssl-devel
yum install -y libaio-devel yum install -y libaio-devel
yum install -y libaio yum install -y libaio
# 配置libiomp5.so库,可以复用系统下现用的so库或者自主安装,指定该动态库的位置。例如export LIBRARY_PATH=/usr/local/lib:$LIBRARY_PATH # 配置libiomp5.so库,可以复用系统下现用的so库或者自主安装,也可复用本工程中放置的动态库。指定该动态库的位置。例如export LIBRARY_PATH=/usr/local/lib:$LIBRARY_PATH
# 若python内未包含相关项,需基于上面安装的三方包重新源码编译python,再配置python环境 # 若python内未包含相关项,需基于上面安装的三方包重新源码编译python,再配置python环境
python3 -m pip install --upgrade pip setuptools python3 -m pip install --upgrade pip setuptools
...@@ -75,11 +75,11 @@ pip3 install ./dist/deepspeed* ...@@ -75,11 +75,11 @@ pip3 install ./dist/deepspeed*
+ 若使用 pip install 下载安装过慢,可添加国内源:-i https://pypi.tuna.tsinghua.edu.cn/simple/ + 若使用 pip install 下载安装过慢,可添加国内源:-i https://pypi.tuna.tsinghua.edu.cn/simple/
+ deepspeed共设置两种版本号查询方式__version__ 和__dcu_version__,分别标识主版本号(与官网版本一致)和基于dcu适配的内部版本号。例如: + deepspeed共设置两种版本号查询方式__version__ 和__dcu_version__,分别标识主版本号(与官网版本一致)和基于dcu适配的内部版本号。例如:
```bash ```bash
#编译后的whl包 #编译后的whl包示例
[root@26388537c721 deepspeed-v0.9.2-release]# ls dist/ [root@26388537c721 deepspeed-v0.9.2-release]# ls dist/
deepspeed-0.9.2+8cfd4af.dtk22.10.1.torch1.10-cp37-cp37m-linux_x86_64.whl deepspeed-0.9.2+8cfd4af.dtk22.10.1.torch1.10-cp37-cp37m-linux_x86_64.whl
deepspeed-0.9.2+8cfd4af.dtk22.10.1.torch1.10-py3.7-linux-x86_64.egg deepspeed-0.9.2+8cfd4af.dtk22.10.1.torch1.10-py3.7-linux-x86_64.egg
#查询deepspeed主版本号 #查询deepspeed主版本号示例
[root@26388537c721 deepspeed-v0.9.2-release]# python3 -c "import deepspeed as ds; print(ds.__version__)" [root@26388537c721 deepspeed-v0.9.2-release]# python3 -c "import deepspeed as ds; print(ds.__version__)"
0.9.2 0.9.2
#查询deepspeed基于dcu的内部版本号 #查询deepspeed基于dcu的内部版本号
......
...@@ -682,7 +682,8 @@ class CUDAOpBuilder(OpBuilder): ...@@ -682,7 +682,8 @@ class CUDAOpBuilder(OpBuilder):
'-DROCM_VERSION_MAJOR=%s' % ROCM_MAJOR, '-DROCM_VERSION_MAJOR=%s' % ROCM_MAJOR,
'-DROCM_VERSION_MINOR=%s' % ROCM_MINOR, '-DROCM_VERSION_MINOR=%s' % ROCM_MINOR,
'--gpu-max-threads-per-block=1024', '--gpu-max-threads-per-block=1024',
'-mllvm -amdgpu-enable-flat-scratch=false' '-mllvm',
'-amdgpu-enable-flat-scratch=false'
] ]
else: else:
cuda_major, _ = installed_cuda_version() cuda_major, _ = installed_cuda_version()
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment