深度神经网络有着很强的特征学习能力,以卷积神经网络为代表的深度学习技术,在图像处理、自然语言处理、视频处理等传统人工智能领域均取得了最佳成绩,在学术界和工业界掀起一股“深度学习”浪潮。深度神经网络在当前各个领域有着广泛应用和极大需求,如语音识别、实时翻译、安防、医疗等。将AI技术移植到民众的便携式生活中成为必然。面向便携式移动端设备的模型不一定要求性能最好,但在产品价格、计算资源、部署空间、实时性等方面,对使用体验提出了很高要求。然而,快速增长的网络规模和复杂度使得深度神经网络难以部署于计算资源受限、实时性要求高的移动端,重型网络的轻型化研究成为当前热点领域。本文广泛调研网络压缩相关的各项工作,深入研究卷积神经网络的各个组件和网络模型运行机制,针对性地提出基于相似性的卷积神经网络剪枝技术路线。本文针对全连接层深入研究基于神经元相似性的剪枝方法,剪除全连接层中相似的神经元并删除连接、简化权值矩阵,从而降低卷积神经网络模型规模和计算量。我们应用了标准机器视觉数据集MNIST和CIFAR-10,以及T EN SORF LOW官网上标准的简单卷积神经网络和进阶卷积神经网络结构,设计了多组实验探究不同全连接层之间的剪枝顺序对性能的影响。实验发现小规模网络中的全连接层减去80%以上的单元没有降低网络性能,全连接层存在较大冗余性;同时本文设计了多组实验探究不同的剪枝顺序对最后剪枝性能的影响,部分组实验中全连接层的单元剪枝后模型性能还略有上升,可见模型规模并非越大越好;先剪浅层的全连接层后剪深层的全连接层,能得到更好的剪枝效果,最终能减去近60%的参数量而模型性能未下降。最后本文应用了可分卷积为卷积层加速做了有益的尝试,发现可分卷积可以稍稍加速小型网络的运行,但是性能下降较大,可分卷积对小型网络并不适用。本文针对卷积层提出基于kernel相似性的剪枝方法,减去卷积层中相近的卷积核,从而显著减小模型运行的计算量。本文首先论证了kernel合并的方法,而后分小数目卷积核和大数目卷积核两小节对卷积核的合并作细致的分析验证,设计全连接层与卷积层的不同剪枝顺序,探究卷积神经网络中不同组件在网络中起到的作用。实验发现,卷积神经网络的卷积层也存在冗余性,在全连接层未剪枝时已能剪除15%以上的kernel数而模型性能没有下降;而冗余性也使得网络更加健壮;不同剪枝顺序也能带来不同剪枝性能,先剪conv层后剪全连接层(由浅至深)的剪枝方式取得更好的剪枝性能,不论是参数量的减小幅度还是运算量的减小幅度,最终减去近90%的参数量和近20%的计算量;大数目卷积核实验表明,剪枝的参数量和计算量是trade-off问题,如希望训练均衡性能的轻型化网络,须探索极大的权值空间,迭代剪枝并优化网络结构。基于相似性的剪枝思想可以应用于所有的卷积神经网络,与网络训练数据集也无关,具有普适性,而且网络中普遍存在冗余性,这使得本文的剪枝方案可以应用于深度卷积神经网络。而且多组实验探究了不同的剪枝顺序对未来的剪枝工作有启发式意义,本文在进阶卷积神经网络上减去近90%的参数量和近20%的计算量,获得了当前网络压缩领域的较好结果,却仅仅是对网络做了剪枝而没有采用量化或编码等方法进一步压缩网络。工作的不足之处在于:由于权值空间太大,算法复杂度太高,本文没有在大规模网络和大规模数据集中进行实验。