深度卷积神经网络压缩方法研究与实现

来源 :北京交通大学 | 被引量 : 2次 | 上传用户:yijianlou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度卷积神经网络已成为计算机视觉与人工智能应用中非常普遍的技术手段,并在各项任务如图像分类识别、目标检测中取得优异的成绩。但多数的卷积神经网络既是运算密集型又是存储密集型,很难部署在轻便快捷的的移动平台上如智能手机端、自动驾驶车载端等其它微型设备上,因此开展针对网络模型剪枝和压缩,使网络结构由密集型变为稀疏型,从而减少卷积神经网络的计算量和存储空间的工作变得尤为重要。权重剪枝通过对网络中不重要的权重进行裁剪,以达到减少参数冗余和计算量的目的。权重聚类可以使得同类别内网络权重共享权值,减少权值表示和乘法运算开销。针对目前的剪枝标准缺乏有效的理论依据,需手动预设每层剪枝率,计算量剪枝较少,以及聚类过程的类别数目和质心选取缺乏适应性等问题。本文围绕着权重参数剪枝算法和聚类算法改进的工作如下:(1)本文提出了一种基于显著性全局动态权重剪枝算法,通过引入梯度信息,对所有样本训练过程中生成的权重梯度进行统计,将归一化后的梯度值与当前权值的乘积作为最终的模型权重显著性评价指标,更全面的衡量权重对网络性能的贡献程度。该算法在设置全局的剪枝率时,可以自动获取层级剪枝率,充分关注网络层间相关性。最后剪枝与再训练迭代执行,纠正错误剪枝,保证剪枝网络的性能。实验结果表明,该剪枝方法有效减少参数冗余,并能适当提升网络精度。(2)本文提出了一种面向专用硬件加速电路实现的神经网络剪枝算法,该方法分别对卷积层与全连接层计算权重显著性指标,然后通过卷积层与全连接层独立剪枝,平衡网络参数量与计算量,从而使得专用加速电路的存储资源和计算负载达到均衡,该方法解决了现有细粒度剪枝算法只注重模型参数量减少,而忽略计算量的问题。实验结果显示,本文所提出的剪枝方法可显著减少专用加速电路的运算开销,使得剪枝后的稀疏网络轻松部署到嵌入式移动平台,实现加速计算。(3)本文提出了一种自适应聚类的模型压缩算法,该算法包括两个阶段,首先通过引入BIRCH层次聚类扫描所有样本对象构造聚类特征图,自适应的获取网络每一层聚类数目。然后在此基础上引入K-Means++聚类算法,自适应的选取各类别初始质心。将BIRCH与K-Means++聚类有效联合,使得整个聚类过程高效自动。实验结果表明,本文所提出的聚类算法能够获得更合理的聚类数目和聚类中心,在保证网络精度的同时,实现类内更多权值共享。
其他文献
"阿芒提拉多的酒桶"是美国诗人、小说家和文学评论家爱伦.坡的一篇恐怖短篇小说。在这篇小说中,爱伦.坡简述了一个以一桶白葡萄酒为诱饵的复仇故事。本文运用精神心理分析的
建立测定葡萄汁饮料中单咖啡酰酒石酸含量的超高效液相色谱法,对方法学进行了验证。结果表明在0.50~50.00μg/mL范围内线性关系良好,方法的批内及批间准确度在97.1%~106.0%,精
笔者十多年前尚读大学时,就接触到了辜正坤先生的《致切斯菲尔德伯爵书》译文,多年过去,对其哗然文采,印象仍然非常深刻。近来重读辜先生部分著作和译作,颇有感慨。遂从“优
目的:分析和比较单侧膝关节置换使用氨甲环酸术后两种不同引流方式(不夹管,夹管6小时后持续开放)对于手术的影响(出血量;并发症;康复锻炼等)。方法:根据纳入及排除标准,随机
原始人类全身有毛发覆盖,是赤身裸体的。文明演进,进而遮蔽下体,后有挡护风寒的衣服。上古有裳无裤。到战国末年至秦汉时期,出现了与裤子有关的词“裈、绔(袴)”等,但并不完
1.功率MOSFET选型第一步:P管,还是N管功率MOSFET有两种类型:N沟道和P沟道,在系统设计的过程中选择N管还是P管,要针对实际的应用具体来选择,N沟道MOSFET选择的型号多,成本低;P沟
手术室作为外科诊疗的重要场所,各种尖端复杂手术都离不开手术室护士的密切配合,随着医学的发展,手术涉及的范围越来越广,许多新设备、新仪器、新型医疗材料应用于手术中,对
采用新型220 k V双回双杆终端钢管杆,有效解决了传统铁塔及钢管杆用地面积大,耗钢量大的问题。杆型结构布置不仅适用终端钢管杆,也适用于受力较大转角塔,具有很高的实际应用
一、案情简介及争议焦点引入(一)廖凤仙案简况原告为陈显福、廖翠华、李志林,被告为史带财产保险股份有限公司(原名"大众保险股份有限公司",以下简称"史带财险"),案由是人身保险合同
本文探讨了“苏南模式”的三个重大理论与实践问题:一是如何从农业经济快速转向工业经济。“苏南模式”是工业化的新模式,发展乡镇企业是加速工业化的重要途径。二是如何建立高