【摘 要】
：
现有结构化剪枝算法通常运用深度神经网络(DNN)的一阶或者零阶信息对通道进行剪枝,为利用二阶信息加快DNN网络模型收敛速度,借鉴HAWQ算法思想提出一种新的结构化剪枝算法。采
【机 构】
：
南京信息工程大学江苏省大数据分析技术重点实验室
【基金项目】
：
国家自然科学基金（61876090,61936005）;国家新一代人工智能重大项目（2018AAA0100400）
论文部分内容阅读
现有结构化剪枝算法通常运用深度神经网络(DNN)的一阶或者零阶信息对通道进行剪枝,为利用二阶信息加快DNN网络模型收敛速度,借鉴HAWQ算法思想提出一种新的结构化剪枝算法。采用幂迭代法得到经过预训练的网络参数对应Hessian矩阵的主特征向量,据此向量衡量网络通道的重要性并进行通道剪枝,同时对剪枝后的网络参数进行微调提高DNN分类性能。实验结果表明,该算法在网络参数量和每秒浮点运算次数分别减少29.9%和34.6%的情况下,在ResNet110网络上的分类准确率提升了0.74%,剪枝效果优于PF、LCCL
其他文献
本文证明了偏序集中的两个不动点定理,它们分别是Tarski-Kantorovi tch不动点定理的推广与加强。
文章结合梧州市滨湖东路绿道设计实例,介绍城市绿道设计总体思路、绿道景观及其附属设施设计要点,并提出城市绿道规划设计的建议。
近年来,广西交通科学研究院有限公司(以下简称“广西交科”)围绕交通强国建设战略和高质量发展工作布局,积极投身交通科技创新,研发的“新一代高性能橡胶沥青”和“智慧路网
“家门口服务”不仅给群众带来工作和生活的便利,还有力地推动城市管理和社会治理的精细化、现代化。做好“家门口服务体系”建设,既要建立健全分层分类的社工培训体系,加强
生态宜居是乡村振兴的重要内容,更是高水平实现产业兴旺、优化乡村人口结构的前提和基础。为此上海要以高水平提升农村人居环境为目标,通过高质量建设、高标准管理、高科技支
数学课的课前三分钟练习活动,我一直在两个平行班开展着,平时多是进行口算和听算练习,让学生轮流负责组织。由于形式单一,时间一长,学生变得机械,逐渐失去兴趣。如何提高学生
中国20世纪初前后敦煌文献出现之前的古写本多由日本流人，日本学者或以为《浙藏敦煌文献》中有古笔了仲题跋言为最澄大师经卷者即来自日本。本文据最澄原作比较，确定此非最澄书
1990年10月2日子夜23时55分,象征德国的巨大德国鹰和柏林市议会的自由之钟在帝国大厦上悬挂安放就绪;24时正,黑红金三色国旗在国歌声中,在夜幕之下徐徐升起。在场的和不在场
教学中,我发现三、四年级的孩子除法笔算速度慢且错误多,试商是难点;五年级学习约分时,学生对分子和分母是否互质、最终结果是否是最简分数等容易疏忽。仔细分析出现这些现象
绿色技术创新是缓解环境污染压力和资源约束的重要途径,在促进经济绿色健康发展上发挥着重要作用。然而,从实践来看,中国还存在绿色技术创新水平不高、发展不均衡等问题。如何设计合理的政策工具诱发绿色技术创新是当下的重点和难点。基于此,本文从政策优势互补视角出发,运用2005-2016年省级面板数据,利用空间杜宾模型实证分析了正式、非正式环境规制对绿色技术创新影响,并进一步引入政府研发资助,研究了其在环境规