卷积神经网络压缩技术的研究与实现

来源 :北京邮电大学 | 被引量 : 9次 | 上传用户:HillTang00009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的研究和发展,卷积神经网络在计算机视觉等领域取得了突破性的进展。然而卷积神经网络中存在大量参数,需要占用较多的计算和存储资源,这导致模型难以部署在资源有限的移动设备上。为了减少模型对硬件资源的消耗,卷积神经网络剪枝压缩技术被广泛研究。目前关于剪枝方法的研究中,基于参数重要性的剪枝和基于参数稀疏性的剪枝是两个重要的研究方向。本文针对这两个方向的主要研究内容如下:提出一种基于注意力机制的参数重要性衡量算法,该算法借助注意力模块,给卷积神经网络中同层滤波器的输出通道赋予权重,并以此计算滤波器重要性,在滤波器级别指导网络剪枝。实验结果表明,在相同剪枝比例下,本文提出的算法可以获得更高的准确率。在基于参数稀疏性的剪枝方面,提出一种基于正则化的全局剪枝算法,解决如何自适应地控制卷积神经网络中各层剪枝比例的问题。通过对通道权重应用L1正则化,将权重趋近于0的通道移除。使卷积神经网络自主地进行通道级别的特征选择,增强结构稀疏性。此外,针对Tensorflow框架下基于掩膜运算的剪枝在性能上的缺陷,本文提出一种能够有效实现参数裁剪效果的剪枝方法。实验结果表明,基于正则化的全局剪枝方法能够进一步提高剪枝效果。设计并实现了基于压缩卷积神经网络的移动端植物识别应用,进行了需求分析、系统总体设计、数据库设计和系统详细设计,并完成了功能和性能测试。测试结果表明该应用能够在离线环境下完成植物种类的识别,并且具有操作简单、性能良好的特点。
其他文献
现今嗜酒者也愈来愈多,保证这类酗酒患者更加安全地渡过围手术期,麻醉工作中酗酒患者,长期饮酒对实施麻醉的影响,酗酒患者术前麻醉医师对患者进行评估:急诊手术,'饱胃&#3
淫羊藿为中国传统药用植物,淫羊藿苷是淫羊藿中的主要活性成分。现代药理学研究表明淫羊藿苷具有改善心脑血管功能、加强性腺功能、增强机体免疫功能、抑制破骨细胞,促进成骨
<正>在经历了27个月的战俘生活之后,回到祖国的志愿军军人张泽石,又成为了"叛徒"。1980年被平反之后,他用了30多年去寻找历史的真相和"他们"的声音。
地方政府债务是地方政府与金融机构之间按照一定的债权债务关系而产生的一种筹集资金的方式。随着地方经济建设力度的不断加大,地方政府越来越依赖于举债来完成有关的经济建设
开源的R语言集成了多种数据分析与可视化算法,具备良好的可扩展性,适用于数据挖掘。本文通过描述R语言中Kmeans、Weka、IGRAPH、Holt-Winters 4种主要技术与算法,以及网站挖
在建筑工程施工中,桩基础技术凭借它的灵活性和简易性的优势被广泛应用。桩基础技术在土建建筑中的应用,能够不断提高施工的效率,确保工程的质量。文章通过分析桩基础技术的
我国经济改革正在逐步深化,电力施工企业的传统模式被抛弃,出现了新的改革。现在,许多电力施工企业正在朝市场经济方向转变,市场竞争将会变得越来越激烈。在激烈的市场环境中
<正>课改以来,小学作文命题发生了翻天覆地的变化,主要有以下几个特点:一拓宽命题范围拓展命题范围,扩大写作空间,鼓励学生有创意地表达,是提高学生作文兴趣和能力的重要前提
受益于中国人均可支配收入的快速增长和消费升级,我国的珠宝首饰行业已进入高速发展阶段。但是由于各种原因,我国的珠宝首饰加工行业发展较晚,目前仍以手工作坊式生产为主,与其它
本文探讨了如何把桩基础技术在建筑工程的施工中进行合理、有效运用,这是建筑工程在施工过程中所面临和解决的重要问题同时桩基础技术对我国建筑行业的发展有深远影响。