基于灵敏度剪枝方法的深度神经网络压缩实现研究

来源 :西安理工大学 | 被引量 : 0次 | 上传用户:weiguolibbbb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人们对人工智能设备需求的增加,深度神经网络算法得到了越来越多的应用和发展。但是,随之而来的问题也是显而易见的,深度学习模型的大小随着数据集规模的增加呈现几何式增长,一个深度卷积神经网络通常涉及到数百万个参数层,这极大的提高了对系统存储能力的要求,而受限制于移动设备规格和电池容量等因素,导致系统存储能力往往不能够满足深度卷积神经网络的要求。为了解决这一问题,本文针对如何压缩深度神经网络提出了方法——灵敏度剪枝方法,从而降低了对系统存储的要求。基于灵敏度的剪枝分为三步:首先,对深度网络模型进行初始训练;其次,为了实现网络稀疏化,将灵敏度作为剪枝的一个衡量量,删除对网络贡献不大的连接;最后,进一步训练学习以确定当前稀疏网络连接的权重,从而实现网络的初步压缩,且不损失网络精度。在此基础上,使用k-means++聚类算法对每层的权重进行聚类,使得用多个连接可以共享同一个聚类中心值,从而有效的降低了需要存储的权重数量。随后,采用聚类中心值实现网络量化,再训练,并得到更新后的聚类中心。量化过程可以进一步压缩网络的大小,以减少网络内存的占用,达到压缩的目的。本文的实验是在caffe平台下对LeNet网络、VGG-16网络和AlexNet网络等深度卷积神经网络进行压缩。通过与试错法对网络剪枝的方法进行比较,本文提出的基于灵敏度比其更加有效,将LeNet-5网络压缩了 37.5倍,比试错法提高了 1.5倍;LeNet-300-100压缩了 35倍,比试错法提高了 1倍;VGG-16网络压缩了41倍和AlexNet网络压缩了 34倍,提高了压缩率且不损失精度,达到了实验目的,使得复杂的深度神经网络可以在移动应用设备上部署。
其他文献
图像分类和图像检索技术是当前计算机科学飞速发展和数字图像资源爆发式增长形势下智能信息处理领域研究的热点问题。如何对图像内容进行有效的表示是图像分类和图像检索技术中一个关键问题。目前,在图像分类与图像检索技术中,特征描述是图像表示的主要形式,存在着高维度与复杂性等问题。图像的稀疏表示模型作为一种新兴的特征表示方法,能够有效解决实际应用中所存在的存储量、计算复杂度与图像解译性等方面的问题。此外,深度学
水稻三化螟是韶关市水稻生产上的重要害虫之一,做好水稻三化螟的预测预报是防治工作的关键。通过10多年的实践,结合历史资料,总结出一套适合韶关地区的预报方法。
以鹰嘴豆为原料,选取了两株不同来源的纳豆芽孢杆菌F-2-4和S-15,分别通过单接种和混合接种的方式,制备鹰嘴豆纳豆成品,并测定其纳豆激酶活力,结果表明:混合接种制备的鹰嘴豆
人体的骨架提取是计算机视觉研究领域中非常重要的研究方向。随着计算机硬件水平的日益提高、计算能力指数级的增强,使得当前在图像处理方面有了长足的进步,因此在计算机上处理分析人体动作的需求也日渐增多。人体骨架提取技术是分析行为动作的基础,此技术具有非常重要的实际应用价值,如在监控领域希望预先判断出一个人的动作是否具有危险性;在体育、舞蹈等领域希望通过计算机进行人体动作打分来作为比赛参考标准。近年来,随着
日、欧自然主义文学比较黎跃进日本的自然主义文学是在欧洲自然主义文学的影响下产生发展的。日本学者高须芳次郎在分析日本自然主义文学兴起的原因时说:“在法国,雨果的浪漫主
CamtasiaStudio软件可以快捷记录屏幕动作,包括影像、音效、鼠标移动轨迹等,是一款具有强大功能的非线性编辑视音频软件,能为可视化微课的制作提供有效帮助。在分析可视化微
现阶段小学低年级的识字教学过程中教师教课时间长,学生花大量时间去写,但还是出现高耗低效的情况。在教学过程中,教师应该注意到学生自身的学习状态,在教学时应该进行有效教
在线纠纷解决机制解决争议的主要方式也是调解和仲裁。但在线纠纷解决中,仲裁员或者调解员不参与争议的解决,有关争议通过计算机程序而自动地得以处理,可以有效地减少面对面
目前,中国的人工智能技术在世界处于优势地位,各行各业都受到人工智能技术的影响,通信行业也是如此。随着时代的发展,人工智能技术在未来会更好的应用在通信行业,通信领域也
一种基于微流控芯片和CMOS图像传感器的片上无透镜细胞检测系统为实现便携化、智能化的细胞检测设备提供了新方向。此无透镜系统采集的细胞图像分辨率低且图像灰度变化受实验环境影响大,采用传统的方法进行细胞分割不具有鲁棒性,并且对噪声敏感,难以实现高精度的分割。因此,研究低分辨率细胞图像的高精度分割方法对无透镜细胞检测系统的细胞图像分割具有重要意义。对于低分辨率细胞图像的自动分割问题,提出使用卷积神经网络