README.md 3.2 KB
Newer Older
limm's avatar
limm committed
1
# <div align="center"><strong>MMDeploy</strong></div>
limm's avatar
limm committed
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
## 简介
MMDeploy是一个开源的深度学习模型部署工具集。它是OpenMMLab项目的一部分。DAS软件栈中的MMDeploy版本,不仅保证了组件核心功能在DCU加速卡的可用性,还针对DCU特有的硬件架构进行了深度定制优化。这使得开发者能够以极低的成本,轻松实现应用程序在DCU加速卡上的快速迁移和性能提升。

## 安装
组件支持组合

   | PyTorch版本 | fastpt版本  |MMDeploy版本    | DTK版本                  | Python版本       | 推荐编译方式 |
   | ----------- | ----------- | -------------- | ------------------------ | ---------------- | ------------ |
   | 2.5.1       | 2.1.0       |1.3.1           | >= 25.04                 | 3.8、3.10、3.11  | fastpt不转码 |
   | 2.4.1       | 2.0.1       |1.3.1           | >= 25.04                 | 3.8、3.10、3.11  | fastpt不转码 |
   | 其他        | 其他        | 其他           | 其他                     | 3.8、3.10、3.11  | hip转码      |

+ pytorch版本大于2.4.1 && dtk版本大于25.04 推荐使用fastpt不转码编译。

### 1、使用pip方式安装
mmdeploy whl包下载目录:[光和开发者社区](https://download.sourcefind.cn:65024/4/main/mmdeploy),选择对应的pytorch版本和python版本下载对应mmdeploy的whl包
```shell
pip install torch* (下载torch的whl包)
pip install fastpt* --no-deps (下载fastpt的whl包)
source  /usr/local/bin/fastpt -E
pip install mmdeploy* (下载的mmdeploy-fastpt的whl包)
```
### 2、使用源码编译方式安装
limm's avatar
limm committed
25

limm's avatar
limm committed
26
27
#### 编译环境准备
提供基于fastpt不转码编译:
limm's avatar
limm committed
28

limm's avatar
limm committed
29
1. 基于光源pytorch基础镜像环境:镜像下载地址:[光合开发者社区](https://sourcefind.cn/#/image/dcu/pytorch),根据pytorch、python、dtk及系统下载对应的镜像版本。
limm's avatar
limm committed
30

limm's avatar
limm committed
31
32
33
34
35
36
37
2. 基于现有python环境:安装pytorch,fastpt whl包下载目录:[光合开发者社区](https://sourcefind.cn/#/image/dcu/pytorch),根据python、dtk版本,下载对应pytorch的whl包。安装命令如下:
```shell
pip install torch* (下载torch的whl包)
pip install fastpt* --no-deps (下载fastpt的whl包, 安装顺序,先安装torch,后安装fastpt)
pip install setuptools==59.5.0 wheel
pip install onnx==1.15.0
```
limm's avatar
limm committed
38

limm's avatar
limm committed
39
40
41
42
43
44
45
46
47
48
#### 源码编译安装
- 代码下载
```shell
git clone http://developer.sourcefind.cn/codes/OpenDAS/mmdeploy.git # 根据编译需要切换分支
```
- 提供2种源码编译方式(进入mmdeploy目录):
```
1. 设置不转码编译环境变量
export FORCE_CUDA=1
source /usr/local/bin/fastpt -C
limm's avatar
limm committed
49

limm's avatar
limm committed
50
51
52
2. 编译whl包并安装
python3 setup.py -v bdist_wheel
pip install dist/mmdeploy*
limm's avatar
limm committed
53

limm's avatar
limm committed
54
55
3. 源码编译安装
python3 setup.py install
limm's avatar
limm committed
56
```
limm's avatar
limm committed
57
58
59
#### 注意事项
+ 若使用pip install下载安装过慢,可添加pypi清华源:-i https://pypi.tuna.tsinghua.edu.cn/simple/
+ ROCM_PATH为dtk的路径,默认为/opt/dtk
limm's avatar
limm committed
60

limm's avatar
limm committed
61
62
## 验证
- python -c "import mmdeploy; mmdeploy.\_\_version__",版本号与官方版本同步,查询该软件的版本号,例如1.3.1;
limm's avatar
limm committed
63

limm's avatar
limm committed
64
65
## Known Issue
-
limm's avatar
limm committed
66

limm's avatar
limm committed
67
68
69
70
## 参考资料
- [README_ORIGIN](README_ORIGIN.md)
- [README_zh-CN](README_zh-CN.md)
- [https://github.com/open-mmlab/mmdeploy.git](https://github.com/open-mmlab/mmdeploy.git)