论文:《AutoCompress: An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates》
论文地址:https://arxiv.org/abs/1907.03141
论文的三个创新点:
1.提出混合型的结构化剪枝维度。
2.采用剪枝算法ADMM(交替乘子优化算法)对训练过程中的正则项进行动态更新。
3.利用了增强型引导启发式搜索的方式进行行为抽样。
结构化剪枝包括三种剪枝维度,输出通道剪枝(filter pruning)、输入通道剪枝(channel pruning)、输出通道形状剪枝(filter shape/column pruning)。如上图所示可以更加理解剪枝的不同类型。
输出通道剪枝:直接删除一个卷积核。
输入通道剪枝:删除每个卷积核对应的输入通道。
输出通道形状剪枝:删除每个卷积核上相同位置的权重。
主要想要理解各个剪枝过程。