基于网络压缩的深度模型优化关键技术研究及原型实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:caojun3538073
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度卷积神经网络(CNNs)在计算机视觉领域表现出色,同时计算机视觉等人工智能系统工程应用的需求也日益增长,对于神经网络压缩与加速的方法研究也日趋活跃。但是由于其过参数化的设计,卷积神经网络导致了网络模型巨大的参数量和昂贵的计算消耗,使得将模型部署到一些资源受限的设备的上变得非常困难,如嵌入式设备、移动手机等。如何在资源受限的设备上部署高可用、高可靠的网络模型,这成为了人工智能在现实生活中广泛应用的主要瓶颈。本文的主要研究课题为深度卷积神经网络模型的压缩与加速算法,重点研究了基于滤波器剪枝的压缩加速算法、剪枝后的模型容量的重建以及模型移动端的部署等,主要研究内容如下:1.研究一种基于特征图相似性的滤波器剪枝算法。与传统滤波器剪枝算法不同,本文不以滤波器所含信息的多少作为滤波器选择的评估标准,而是通过分析每一层卷积层输出特征图的相似性,利用空间距离来计算滤波器之间的差距,以此来评判特征图之间的相似性,从而选出最能被替代的滤波器来剪除。2.结合轻量化网络设计,提出了一种恢复模型容纳能力的剪枝后网络重建算法。传统的剪枝算法在剪枝后直接进行微调再训练恢复模型精度,但往往难以达到模型原有精度。本文认为主要原因是剪枝损伤了模型原有的容纳能力,因此本文提出了一种基于剪枝后剩余特征图的重建算法,利用轻量的操作在剩余特征图的基础上生成新的特征图拼接到原输出特征图,来恢复模型原有的容纳能力。实验结果表明,本文的剪枝算法在降低参数量和计算量的同时,能维持原模型的精度甚至提高精度,与目前一些优秀的剪枝算法对比,表现出了优异的性能。3.基于剪枝优化后模型的安卓移动端部署。利用深度学习移动端推理框架Pytorch Mobile和安卓应用开发框架Android Studio,将模型部署到安卓移动端,对比压缩优化后的模型与原模型的性能,验证本文算法的有效性,并实现高可用、高精度、高安全的离线图片识别系统原型及测试。
其他文献
云计算历经十几年的发展,已经极大地改变了计算资源的使用模式,这种模式不仅提高了资源的利用率,还降低了企业和个人开发新应用的成本。但是云计算在带来便利性的同时,其面临的安全问题也日益突出,云安全事件频发,已经成为企业最关心的问题之一。在云安全中,虚拟机的安全是最根本也是最迫切需要解决的问题。而虚拟机面临的最大威胁就是具有较强隐蔽性和持久性的恶意代码攻击,隐藏进程就是其最主要的特征。因此,针对隐藏进程
在云计算技术突飞猛进,云平台使用日益广泛的今天,用户在生产环境中产生与使用的数据和文件体积随时间发展而极速扩张。针对云平台下的海量数据管理,研究人员提出了云存储概念,其意义是结合云概念,将用户的海量文件存放在大规模分布式文件系统中,结合服务器集群技术,对用户提供访问接口,用户无需关注文件存放的物理位置与组织形式,只需要使用云储存服务访问文件即可。云存储结合分布式文件系统,具有扩容方便,冗余备份,单
随着互联网技术的发展与普及,IPTV作为集通讯、互联网、多媒体等多技术于一体的崭新技术横空出世,为提升我国智能化终端电视产业的发展做出了卓越的贡献。然而IPTV业务承载网络以IP网络作为基础承载网,直接与Internet等网络互联,所以面临着IP网络所具有的各种网络安全风险。但是IPTV网络的渗透测试与安全评估缺乏相应的技术理论支持,当前攻击图模型存在量化指标较单一、客观性差、生成效率较慢,针对目
目前深度学习算法已广泛应用于合成孔径雷达(SAR,Synthetic Aperture Radar)图像的目标检测。然而,当前主流基于深度学习的检测方法存在模型复杂度高、检测速度慢以及对特殊尺寸目标检测性能低等问题。针对上述问题,本文将着重研究基于改进Faster R-CNN(Faster Region-based Convolutional Neural Network)的SAR图像舰船目标检测
在5G中,超高可靠和低延迟通信(Ultra-Reliable and Low-Latency Communication,URLLC)可以有效降低实时无线控制系统中的时延以及丢包率,以满足工业互联及自动化中实时、可靠等高性能要求。然而,为了满足严格的服务质量(Quality of Service,QoS),URLLC消耗了大量的无线资源,严重阻碍了该技术的实施和大范围部署。因此,针对多控制回路的实
伴随着云计算的不断发展,越来越多的企业将数据和服务转移到云端。在传统模式下,企业运营维护数据中心存在设备管理困难、资源利用率低、且硬件升级成本高的问题。而云计算平台能将计算资源、网络资源、存储资源等资源弹性地按需提供给企业用户,极大地为用户节省了硬件管理维护成本。当前的云平台重点在于如何按需切分调度资源,给用户提供高效稳定的服务。但在消息推送方面,缺乏专门的功能组件进行处理,平台控制中心与各业务模
近年来,在图像识别、语音识别等领域,深度学习的表现越来越突出,成为业界内很多人的研究对象。而在一个的神经网络中,包含了大量的参数,在进行网络训练时,参数量越大,单次训练需要的时间越来越长。其次,现有的深度网络框架并不能满足任何环境下的网络运行。而近年来,图形处理器GPU(Graphic Processor Units)硬件设备得到了快速升级,通用计算技术因此而有了飞跃性的成长,到如今已慢慢开始走向
后疫情时代,“新基建”、“智慧城市”俨然已成为“十四五”期间最热的关键词之一。兼具分布范围广和承载能力强等优势的智慧合杆,其上搭载与城市运行息息相关的诸多Io T设备,是天然的信息采集、展示入口。围绕智慧合杆上搭载的大量Io T设备进行管理,进而打造串联万物的物联网平台成为近年来的研究热点。本文面向河南省鹤壁市5G智慧合杆一期横向合作项目,基于实验室已有云计算相关产品,提出云边端协同系统性方案,解
当前随着人们对快捷获取知识的渴求和自然语言处理的快速发展,实体关系抽取技术作为该领域经久不衰的重要研究方向,对于领域知识图谱的构建和各种自然语言处理应用,它都具有重要贡献。虽然关系抽取技术已经发展出了各种层出不穷的理论,但是自动化抽取的精准性不能达到较好的实用性。而基于深度学习的方法,比如传统管道方法存在错误传播和信息冗余,联合抽取方法存在实体重叠、关系类别标签不平衡问题,最终会导致关系抽取模型总
人体步态,作为一个新兴的生物识别特征,可以利用图像传感器以及惯性传感器采集在一段时间内行走过程中的步态信息(如一系列视频帧或加速度、角速度等),进行身份识别。与目前日常生活中被广泛应用的生物特征相比,生物步态特征具有能够远程捕获以及不易模仿等优点,可以通过非接触式的方法获取到被测者的步态信息,进而完成身份信息的判别。本文首先制作数据集,利用自主编写的Android平台APP依次采集被测者完成指定动