README.md 1.47 KB
Newer Older
401qingkong's avatar
401qingkong committed
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
# ROCm 版本deepspeed 安装说明 
## OP支持情况
<table>
<tr>
    <td><strong>模块名称</strong></td>
    <td><strong>环境变量</strong></td>
    <td><strong>ROCm移植状态</strong></td>
    <td><strong>不支持op</strong></td>
</tr>
<tr>
    <td>Utils</td>	
    <td>DS_BUILD_UTILS</td>	
    <td>Success</td>
    <td>--</td>
</tr> 
<tr>
    <td>Transformer</td>	
    <td>DS_BUILD_TRANSFORMER</td>	
    <td>Part Success</td>
    <td>不支持normalize_kernels、softmax_kernels全部kernel定义、不支持general_kernels.hip中column_sum_reduce的kernel部分</td>
</tr> 
<tr>
    <td>StochasticTransformer</td>	
    <td>DS_BUILD_STOCHASTIC_TRANSFORMER</td>	
    <td>Part Success</td>
    <td>继承的TRANSFORMER中的文件,支持列表同上</td>
</tr> 
<tr>
    <td>SparseAttn</td>	
    <td>DS_BUILD_SPARSE_ATTN</td>	
    <td>Success</td>
    <td>--</td>
</tr> 
<tr>
    <td>FusedLamb</td>	
    <td>DS_BUILD_FUSED_LAMB</td>	
    <td>Success</td>
    <td>--</td>
</tr> 
<tr>
    <td>FusedAdam</td>	
    <td>DS_BUILD_FUSED_ADAM</td>	
    <td>Success</td>
    <td>--</td>
</tr> 
<tr>
    <td>CPUAdam</td>	
    <td>DS_BUILD_CPU_ADAM</td>	
    <td>Success</td>
    <td>--</td>
</tr> 
</table>


## 安装

默认安装所有op:(默认在./dist下生成编译好的whl包)
58
```
401qingkong's avatar
401qingkong committed
59
CXX=hipcc CC=hipcc DS_BUILD_OPS=1 python3 setup.py $VERBOSE bdist_wheel
60
61
```

401qingkong's avatar
401qingkong committed
62
63
64
65
安装指定的op:
```
指定对应op的环境变量即可,eg:DS_BUILD_FUSED_ADAM=1
```
66

401qingkong's avatar
401qingkong committed
67
68
69
70
安装后信息核实:
```
ds_report
```