论文部分内容阅读
随着大数据的推动和算力的提高,卷积神经网络(CNN)在人脸识别,对象检测,追踪和图像分割等方向获得了巨大成功。为了提高模型的表现,学术界近几年设计出的网络结构更加深,计算复杂度更加高。这些大型网络模型可以在机房良好运行,却受限于计算资源和功耗,难以部署到移动设备中,比如智能手机和集成设备。在这种背景和需求下,模型压缩的解决方案受到广泛的关注,其中剪枝技术由于其较大的压缩率和加速能力获得了巨大的研究热度。通过该方法,可以将大模型压缩至表现力近似的轻量级模型,将其移植到移动设备中,使得学术界的产物可以在工业界实现价值。本文从两个不同角度,提出了相应的基于剪枝的模型压缩算法。本文提出和验证了剪枝位置对于剪枝任务的重要性,提出一种基于剪枝位置学习的卷积核剪枝方法。考虑到神经网络具有顺序的层级结构,利用长短期记忆网络(LSTM)作为生成剪枝位置决策的控制器。首先,将待剪枝的神经网络转化成字符串表示,输入到LSTM,为每个网络层输出是否剪枝的决策。根据LSTM的决策,本文提出一种基于通道集的卷积核评估方法来挑选指定层应该剪枝的卷积核,并提出一种恢复机制初步恢复剪枝带来的精度损失。然后,对剪枝后模型的精度和复杂度进行加权,得到一个激励值,利用策略梯度算法来更新控制器LSTM的参数。为了解决剪枝任务带来的精度下降问题,本文提出一种基于注意力机制的卷积核自适应剪枝方法。作者设计了一种基于特征通道的注意力模块SEP,利用该模块对基线模型进行重构并训练。SEP模块将每一层的特征图作为输入,输出其下一个卷积层的重要性权重向量,并将低重要性权重置零。SEP是一种数据依赖的卷积核评估方法,对于不同的输入样本,SEP选择不同的卷积核参与前后向传播和计算,其余卷积核被忽略。本文设计了详细和全面的实验,为了验证本文的算法具有普适性,在Cifar-10,Cifar-100和MNIST三个数据集上,对VGG19,Res Net56和全连接网络三个不同的网络结构进行实验,并将实验结果与目前效果较好的一些算法进行比较和分析。实验结果表明,本文提出的算法可以在压缩模型复杂度的同时,尽量保持大模型的精度,相比于对照方法具有一定的优势。