README.md 3.03 KB
Newer Older
1
2
# <div align="center"><strong>Uni-Core</strong></div>
## 简介
zhanggezhong's avatar
zhanggezhong committed
3
4
Uni-Core 专为快速创建高性能 PyTorch 模型而构建,尤其是基于 Transfromer 的模型。

5
## 安装
zhanggezhong's avatar
zhanggezhong committed
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
组件支持组合

   | PyTorch版本 | fastpt版本  |Uni-Core版本      | DTK版本                  | Python版本       | 推荐编译方式 |
   | ----------- | ----------- | ----------- | ------------------------ | -----------------| ------------ |
   | 2.5.1       | 2.1.0       |0.0.1        | >= 25.04                 | 3.8、3.10、3.11  | fastpt不转码 |
   | 2.4.1       | 2.0.1       |0.0.1        | >= 25.04                 | 3.8、3.10、3.11  | fastpt不转码 |

+ pytorch版本大于2.4.1 && dtk版本大于25.04 推荐使用fastpt不转码编译。

### 1、使用pip方式安装
unicore whl包下载目录:[光和开发者社区](https://download.sourcefind.cn:65024/4/main),选择对应的pytorch版本和python版本下载对应unicore的whl包
```shell
pip install torch* (下载torch的whl包)
pip install fastpt* --no-deps (下载fastpt的whl包)
source  /usr/local/bin/fastpt -E
pip install unicore* (下载的unicore-fastpt的whl包)
22
```
zhanggezhong's avatar
zhanggezhong committed
23
24
25
26
27
28
29
30
31
32
33
34
### 2、使用源码编译方式安装

#### 编译环境准备
提供基于fastpt不转码编译:

1. 基于光源pytorch基础镜像环境:镜像下载地址:[光合开发者社区](https://sourcefind.cn/#/image/dcu/pytorch),根据pytorch、python、dtk及系统下载对应的镜像版本。

2. 基于现有python环境:安装pytorch,fastpt whl包下载目录:[光合开发者社区](https://sourcefind.cn/#/image/dcu/pytorch),根据python、dtk版本,下载对应pytorch的whl包。安装命令如下:
```shell
pip install torch* (下载torch的whl包)
pip install fastpt* --no-deps (下载fastpt的whl包, 安装顺序,先安装torch,后安装fastpt)
pip install setuptools==59.5.0 wheel
35
```
zhanggezhong's avatar
zhanggezhong committed
36
37
38
39
40
41
42

#### 源码编译安装
- 代码下载
```shell
git clone https://developer.sourcefind.cn/codes/OpenDAS/Uni-Core.git # 根据编译需要切换分支
```
- 提供2种源码编译方式(进入Uni-Core目录):
43
```
zhanggezhong's avatar
zhanggezhong committed
44
45
1. 设置不转码编译环境变量
source /usr/local/bin/fastpt -C
46

zhanggezhong's avatar
zhanggezhong committed
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
2. 编译whl包并安装
python3 setup.py -v bdist_wheel
pip install dist/unicore*

3. 源码编译安装
python3 setup.py install
```
#### 注意事项
+ 若使用pip install下载安装过慢,可添加pypi清华源:-i https://pypi.tuna.tsinghua.edu.cn/simple/
+ ROCM_PATH为dtk的路径,默认为/opt/dtk
+ 在pytorch2.5.1环境下编译需要支持c++17语法,打开setup.py文件,把文件中的 -std=c++14 修改为 -std=c++17

## 验证
```
python3
Python 3.10.12 (main, Feb  4 2025, 14:57:36) [GCC 11.4.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import unicore
>>> unicore.__version__
'0.0.1'
>>>
68
```
zhanggezhong's avatar
zhanggezhong committed
69
,版本号与官方版本同步,查询该软件的版本号,例如0.0.1;
Guolin Ke's avatar
Guolin Ke committed
70

zhanggezhong's avatar
zhanggezhong committed
71
72
## Known Issue
-
Guolin Ke's avatar
Guolin Ke committed
73

zhanggezhong's avatar
zhanggezhong committed
74
75
76
77
## 参考资料
- [README_ORIGIN](README_ORIGIN.md)
- [README_zh-CN](README_zh-CN.md)
- [https://github.com/dptech-corp/Uni-Core](https://github.com/dptech-corp/Uni-Core)