论文部分内容阅读
深度卷积神经网络已成为计算机视觉与人工智能应用中非常普遍的技术手段,并在各项任务如图像分类识别、目标检测中取得优异的成绩。但多数的卷积神经网络既是运算密集型又是存储密集型,很难部署在轻便快捷的的移动平台上如智能手机端、自动驾驶车载端等其它微型设备上,因此开展针对网络模型剪枝和压缩,使网络结构由密集型变为稀疏型,从而减少卷积神经网络的计算量和存储空间的工作变得尤为重要。权重剪枝通过对网络中不重要的权重进行裁剪,以达到减少参数冗余和计算量的目的。权重聚类可以使得同类别内网络权重共享权值,减少权值表示和乘法运算开销。针对目前的剪枝标准缺乏有效的理论依据,需手动预设每层剪枝率,计算量剪枝较少,以及聚类过程的类别数目和质心选取缺乏适应性等问题。本文围绕着权重参数剪枝算法和聚类算法改进的工作如下:(1)本文提出了一种基于显著性全局动态权重剪枝算法,通过引入梯度信息,对所有样本训练过程中生成的权重梯度进行统计,将归一化后的梯度值与当前权值的乘积作为最终的模型权重显著性评价指标,更全面的衡量权重对网络性能的贡献程度。该算法在设置全局的剪枝率时,可以自动获取层级剪枝率,充分关注网络层间相关性。最后剪枝与再训练迭代执行,纠正错误剪枝,保证剪枝网络的性能。实验结果表明,该剪枝方法有效减少参数冗余,并能适当提升网络精度。(2)本文提出了一种面向专用硬件加速电路实现的神经网络剪枝算法,该方法分别对卷积层与全连接层计算权重显著性指标,然后通过卷积层与全连接层独立剪枝,平衡网络参数量与计算量,从而使得专用加速电路的存储资源和计算负载达到均衡,该方法解决了现有细粒度剪枝算法只注重模型参数量减少,而忽略计算量的问题。实验结果显示,本文所提出的剪枝方法可显著减少专用加速电路的运算开销,使得剪枝后的稀疏网络轻松部署到嵌入式移动平台,实现加速计算。(3)本文提出了一种自适应聚类的模型压缩算法,该算法包括两个阶段,首先通过引入BIRCH层次聚类扫描所有样本对象构造聚类特征图,自适应的获取网络每一层聚类数目。然后在此基础上引入K-Means++聚类算法,自适应的选取各类别初始质心。将BIRCH与K-Means++聚类有效联合,使得整个聚类过程高效自动。实验结果表明,本文所提出的聚类算法能够获得更合理的聚类数目和聚类中心,在保证网络精度的同时,实现类内更多权值共享。