论文部分内容阅读
卷积神经网络(Convolutional Neural Network,CNN)作为典型的深度学习模型,在图像分类、目标检测和语义分割等诸多领域取得了一系列的研究成果。随着问题规模和复杂度的增加,CNN的参数与计算量都在成倍增长,使其对训练与运行环境特别是设备性能的要求相应提高。由于手机等移动设备以及嵌入式设备存在计算能力、存储空间等诸多方面的约束,使得现有CNN无法在这些资源受限设备上进行很好的部署使用。针对以上问题,模型压缩是一种有效的解决方法,因此研究CNN模型压缩方法有利于促进CNN更广泛的应用,具有很强的理论与现实意义。网络剪枝是一种降低网络复杂性和过拟合的有效方法,已经被广泛应用于压缩CNN模型。论文的主要工作如下:1.提出了一种基于改进权重剪枝的动态剪枝方法深度卷积神经网络中存在巨大的参数冗余,权重剪枝能有效减少网络中的冗余参数。该方法对小于设定阈值的权重进行剪枝,但是这种方法对于误剪的权重无法恢复,这会对最后的模型识别精度产生一定的影响。针对该问题,提出了一种基于改进权重剪枝的动态剪枝方法。首先对原始网络中权重绝对值小于阈值的权重进行剪枝,然后动态更新权重的重要性系数,对误剪的权重进行动态恢复。实验结果表明所提方法在LeNet-5和VGG-16网络上的识别精度损失值与权重剪枝相比分别减少了0.11%和0.25%。2.提出了一种结合动态剪枝和卷积核剪枝的混合剪枝方法在模型压缩中,单独使用动态剪枝或卷积核剪枝对卷积神经网络进行压缩,压缩后的模型中仍然存在较多冗余参数。针对这一问题,提出了一种结合动态剪枝和卷积核剪枝的混合剪枝方法。首先,修剪对卷积神经网络整体精度贡献较小的卷积核;其次,对剪枝过的模型再进行动态剪枝实现进一步的模型压缩。在MNIST和CIFAR-10数据集上的实验表明,与只进行动态剪枝或卷积核剪枝相比,混合修剪方法可以达到更高的模型压缩比。所提出的混合剪枝方法将LeNet-5网络压缩了12.90倍,识别精度仅损失了0.99%;将VGG-16网络压缩了19.13倍,识别精度仅损失了1.32%。