【摘 要】
:
深度卷积神经网络(Deep Convolutional Neural Networks,DCNNs)已经在图像分类、目标检测和语义分割等诸多领域取得了显著的成功。然而,这一良好的性能伴随着大量的存储空间和巨大的计算成本,因为没有高效的图形处理单元(Graphics Processing Unit,GPU)的支持,给DCNNs在计算资源有限的移动设备上的部署带来了巨大的困难。为了解决此问题,通过模型
论文部分内容阅读
深度卷积神经网络(Deep Convolutional Neural Networks,DCNNs)已经在图像分类、目标检测和语义分割等诸多领域取得了显著的成功。然而,这一良好的性能伴随着大量的存储空间和巨大的计算成本,因为没有高效的图形处理单元(Graphics Processing Unit,GPU)的支持,给DCNNs在计算资源有限的移动设备上的部署带来了巨大的困难。为了解决此问题,通过模型剪枝去减少卷积神经网络的内存使用量和计算工作负载吸引了越来越多的关注。现有的剪枝方法,如基于ADMM的剪枝、基于彩票假设的剪枝、基于显著性的剪枝和基于Auto ML的剪枝,往往只关注模型存储空间的压缩,而忽略了计算工作负载对于硬件部署的重要性。针对目前剪枝方法存在的参数量压缩倍数远远大于计算量压缩倍数的问题,本文以平衡神经网络参数量和计算量剪枝为中心,对神经网络非结构化剪枝算法进行了研究改进:(1)针对以往剪枝算法忽略计算量压缩的问题,本文提出了一种基于全局统计信息的软迭代剪枝算法。统计了经典神经网络中参数量和计算量的分布,引入了计算强度的概念。通过网络层计算强度和整个网络平均计算强度的比较,将网络层划分为计算量显著型网络层和参数量显著型网络层。改进了全局剪枝算法,根据计算量显著型网络层和参数量显著型网络层权值的显著性得分,对两类网络层设置各自的剪枝率进行独立剪枝,平衡网络参数量和计算量的剪枝倍数。该算法在设置两类网络层的剪枝率后,可以自动获取层级剪枝率,剪枝与再训练迭代执行,纠正了错误剪枝,保证了剪枝网络的性能。(2)基于Auto ML,本文提出了一种基于遗传算法的多目标约束型卷积神经网络非结构化剪枝方法。该方法在深度卷积神经网络剪枝过程中,将多约束的卷积神经网络模型剪枝过程建模为一个多目标联合优化问题。通过引入一种改进型的遗传算法,在卷积神经网络架构空间中搜索出最佳的稀疏网络结构;然后在此结构上,人工设置期望的内存使用量目标和计算工作负载目标的剪枝倍数,从而得到能够同时满足两项硬件约束条件的最优剪枝结果。该方法解决了现有剪枝方法只关注模型参数量减少,而忽略计算量的问题。使得深度卷积神经网络的内存使用量剪枝和计算工作负载剪枝达到平衡。实验结果显示,本文所提出的剪枝方法不仅可以有效减少模型的参数量和计算量冗余,还可以显著减少专用加速电路的运算开销,使得剪枝后的稀疏网络部署到嵌入式移动平台,实现计算加速。
其他文献
中学语文教学的基本任务,是培养学生初步学会运用祖国语言文字的能力。古诗词炼字教学作为高中阶段鉴赏教学中最重要的一个环节,在语文学习过程中,特别是在鉴赏古诗词中,对培养学生健康的审美情趣,思想情感的熏陶起着重要的作用。诗人在创作诗词时,往往反复推敲,锤炼出最贴切、最富有表现力的字词来表情达意。那么这对于鉴赏诗歌是很好的切入点,只有把握古人的炼字技巧和方法,总结出语文老师教学中的炼字艺术教学原则,才能
我国私家车保有量不断攀升,交通拥堵问题已成为困扰城市发展的城市病之一。为了解决城市发展中的拥堵症结,公交优先发展战略应运而生。公交出行作为该战略的重要组成部分之一
一篇文章的成功,固然有着多方面因素,但往往得力于词语的锤炼。清人袁枚说过:“一切诗文,总须字立纸上,不可字卧纸上,人活则立,人死则卧, 用笔亦然。”(《随园诗话》)所谓“
深度卷积神经网络(Deep Convolutional Neural Network)被广泛应用于计算机视觉工作,如图像分类、目标检测和语义分割等。相对于传统的机器学习算法,深度学习在性能方面往往更胜一筹,它的成功很大程度上归功于计算资源的快速发展。因此,大多数深度卷积神经网络都需要在GPU(Graphics Processing Unit)上训练和推理,但是GPU处理器的能耗较高,限制了深度卷积
卷积神经网络(Convolutional Neural Network,CNN)在目标检测、图像分类领域有着广泛的应用,但由于其海量的参数量和计算量限制了在算力匮乏的移动终端上的部署。参数量化(Pa
税务系统是主管我国税款征收管理的部门,他们身上担负着兴税强国的重任。按照国家机构改革的统一部署,税务部门的公务员正经历这国地税合并,社会保险费和非税收入移交税务部门征收,国家减税降费政策不断出台。基层税务工作公务员面临着税收工作更加复杂,税款征收任务更加繁重,征收对象群体更为庞大,思想上不稳定等多重困难和压力。但目前税务系统并没有科学规范的公务员激励机制,由于原国地税的管理权限不同,相关执行的政策
干部队伍素质决定政府机关效能,税务干部的素质直接影响着全国的经济收入。人事管理制度的改革和进步可以有效的提升干部素质。为强化干部管理与考核,中央推出了系列的规章制
双向高频隔离型DC-DC变换器因其具有高频电气隔离、高功率密度、高工作效率等优点在面向微电网的储能系统中获得了广泛应用。针对现有技术存在的器件电流应力大、额定容量利