Commit 546a3744 authored by zhuwenwen's avatar zhuwenwen
Browse files

update readme for dtk23.10

parent 6ef178d0
# Colossal-AI
# <div align="center"><strong>Colossal-AI</strong></div>
## 简介
Colossal-AI提供了一系列并行组件,主要提供以下功能:提供用户友好的工具,支持编写分布式深度学习模型,只需几行即可启动分布式训练和推理。Colossal-AI官方github地址:[https://github.com/hpcaitech/ColossalAI](https://github.com/hpcaitech/ColossalAI)
## 安装
Colossal-AI支持
......@@ -7,56 +9,59 @@ Colossal-AI支持
+ Python 3.9.
### 使用pip安装
colossalai whl包下载目录:[https://cancon.hpccube.com:65024/4/main/colossalai/dtk23.04](https://cancon.hpccube.com:65024/4/main/colossalai/dtk23.04)
colossalai whl包下载目录:[https://cancon.hpccube.com:65024/4/main/colossalai/dtk23.10](https://cancon.hpccube.com:65024/4/main/colossalai/dtk23.10)
根据对应的pytorch版本和python版本,下载对应colossalai的whl包
```shell
pip install colossalai* (下载的colossalai的whl包)
```
### 使用源码安装
### 使用源码编译方式安装
#### 编译环境准备
pytorch whl包下载目录:[https://cancon.hpccube.com:65024/4/main/pytorch/dtk23.04](https://cancon.hpccube.com:65024/4/main/pytorch/dtk23.04)
根据python版本,下载对应pytorch的whl包
```shell
pip install torch* (下载的torch的whl包)
```
提供2种环境准备方式:
1. 基于光源pytorch基础镜像环境:镜像下载地址:[https://sourcefind.cn/#/image/dcu/pytorch](https://sourcefind.cn/#/image/dcu/pytorch),根据pytorch、python、dtk及系统下载对应的镜像版本。
2. 基于现有python环境:安装pytorch,pytorch whl包下载目录:[https://cancon.hpccube.com:65024/4/main/pytorch/dtk23.10](https://cancon.hpccube.com:65024/4/main/pytorch/dtk23.10),根据python、dtk版本,下载对应pytorch的whl包。安装命令如下:
```shell
pip install torch* (下载的torch的whl包)
pip install setuptools wheel
```
#### 编译安装
#### 源码编译安装
```shell
git clone https://developer.hpccube.com/codes/aicomponent/colossalai # 根据需要的分支进行切换
cd colossalai
```
1、 编译whl包并安装
- 提供2种源码编译方式(进入colossalai目录):
```
1. 编译whl包并安装
python setup.py bdist_wheel
pip install dist/colossalai*
2、 直接编译安装
python setup.py install
2. 源码编译安装
python3 setup.py install
```
## 安装包命名
例: colossalai-0.1.13+git43ff1d4.abi0.dtk2304.torch1.10-cp37-cp37m-manylinux2014_x86_64.whl
- colossalai: 安装包名称;
- 0.1.13: 安装包版本号;
- git43ff1d4: git号;
- abi0: 对应centos和rocky多系统的标识,取值为abi0(centos7),abi1(rocky8),可使用命令行动态查询获取辅助判断(echo '#include <string>' | gcc -x c++ -E -dM - | fgrep _GLIBCXX_USE_CXX11_ABI);
- dtk2304: 对应dtk大版本号,命令行动态查询取值(/opt/dtk-23.04/.info/rocm_version);
- torch1.10: 对应构建的torch版本号,命令行动态查询取值(torch.\_\_version__);
- cp37-cp37m: 对应python版本号;
- manylinux2014_x86_64: 系统架构;
## 版本号查询
- colossalai.\_\_version__:与官方版本同步,查询该安装包的版本号,例如0.1.13;
- python -c "import colossalai; print(colossalai.\_\_version__)",版本号与官方版本同步,查询该软件的版本号,例如0.1.13;
## Known Issue
-
## Note
+ 若使用 pip install 下载安装过慢,可添加源:-i https://pypi.tuna.tsinghua.edu.cn/simple/
## 参考
- [README_ORIGIN](README_ORIGIN.md)
- [README_zh-Hans](README_zh-Hans.md)
\ No newline at end of file
- [README_zh-Hans](README_zh-Hans.md)
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment