pruning_zh.rst 995 Bytes
Newer Older
1
2
.. 0f2050a973cfb2207984b4e58c4baf28

kvartet's avatar
kvartet committed
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
#################
剪枝
#################

剪枝是一种常用的神经网络模型压缩技术。
剪枝算法探索模型权重(参数)中的冗余,并尝试去除冗余和非关键权重,
将它们的值归零,确保其不参与反向传播过程。

从剪枝粒度的角度来看,细粒度剪枝或非结构化剪枝是指分别对每个权重进行剪枝。
粗粒度剪枝或结构化剪枝是修剪整组权重,例如卷积滤波器。

NNI 提供了多种非结构化和结构化剪枝算法。
其使用了统一的接口来支持 TensorFlow 和 PyTorch。
只需要添加几行代码即可压缩模型。
对于结构化滤波器剪枝,NNI 还提供了依赖感知模式。 在依赖感知模式下,
滤波器剪枝在加速后会获得更好的速度增益。

详细信息,参考以下教程:

..  toctree::
    :maxdepth: 2

    Pruners <Pruner>
kvartet's avatar
kvartet committed
26
27
    依赖感知模式 <DependencyAware>
    模型加速 <ModelSpeedup>