基于空间卷积分离的轻量级卷积神经网络

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:gkchenvip
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,卷积神经网络在计算机视觉领域取得了巨大成功,其在不断提高图像分类、目标检测和图像语义分割等任务精度上限的同时,模型尺寸与运行时间也在急剧增加。由于移动端设备存在存储空间和计算能力的约束,使得现有卷积神经网络无法在这些资源受限设备上进行很好的部署和应用。在这种情况下,研究人员通过设计高效的卷积结构来代替传统网络中的标准卷积层,以达到减小模型参数量和运算量的目的,但是此类方法仍然存在模型泛化能力低、特征信息退化严重等问题,难以真正做到参数量、运算量和精度之间的平衡。针对以上问题,本文在现有卷积神经网络的基础上,从优化模型复杂度和提升模型性能两方面出发,进行了轻量级卷积神经网络研究。
  具体的,本文通过对目前主流的卷积神经网络结构进行分析,构建了一种轻量级卷积神经网络,取名为SplitNet。该网络结合了不对称深度可分离卷积和指数分组融合卷积两种空间卷积分离策略,极大的降低了模型参数量和运算量,解决了经典卷积神经网络中存在的模型尺寸大、运算时间长等问题。此外,通过高效激活函数、加权池化和基本单元中多尺度卷积的使用,保证了模型精度。为了评估SplitNet的整体性能,将其与常用的卷积神经网络进行了对比实验。实验结果表明SplitNet在图像分类任务中保持了较低的参数量和运算量,同时拥有最高的模型精度。因此,可以将其部署到移动端设备上面来提供各种视觉相关的智能服务。
  此外,为了进一步减小SplitNet模型尺寸,本文提出了一种PQC模型压缩算法,该算法包含双阶段动态剪枝、迭代指数量化和静态算术编码三个阶段。双阶段动态剪枝过程中,会动态的根据信息熵和批标准化中的尺度因子来剪掉网络中冗余的权重参数,在迭代指数量化阶段,则会对卷积核参数进行低精度表示,最后通过静态算术编码对网络模型进行了进一步压缩。经过这三阶段处理,可以依次将原始卷积神经网络变成稀疏网络、低精度网络和小尺寸网络。实验过程中为了验证PQC模型压缩算法的有效性和优越性,首先在AlexNet和VGG16上进行了压缩实验,然后比较了该算法与目前常用的深度压缩算法在压缩倍数和压缩后的精度上两方面的性能。实验结果表明PQC模型压缩算法在精度损失更小的情况下,可以取得更大的压缩倍数。因此在实验的最后用该模型压缩算法对本文提出的轻量级卷积神经网络进行了压缩,得到了参数所占存储空间仅为0.87MB的模型,该模型具有很高的存储效率和运算速度,满足在资源受限的设备上部署和应用的工业需求。
其他文献
多目标优化广泛应用于工程应用和日常生活当中,而随着目标数目的增加,多目标优化问题变得难以求解。当多目标优化问题的目标数目大于3时,这类问题叫做高维多目标优化问题。近年来,进化算法求解高维多目标优化问题获得了越来越高的研究热度。针对当前高维多目标优化的诸多难题,本文提出了多种高维多目标进化算法以开发进化算法求解高维多目标优化问题的能力,主要内容包括:  (1)提出了一种基于多样性排序的高维多目标进化
生活中的各类系统蕴含丰富的数据信息,可通过抽象为网络形式对其进行数据挖掘。社区检测作为其重要研究内容之一,对于传染病防控、追踪犯罪组织等方面有重要帮助,吸引了生物学、社会学等领域的专家广泛关注。随着网络拓扑结构越来越复杂,社区结构特征变得冗杂,将社区检测作为优化问题处理成为当前研究中的主要手段之一。联合多个目标进行评价的社区检测算法能获得更接近真实的社区,但在多目标社区检测算法研究中,忽视了目标函
学位
高铁技术的快速发展对各行各业的发展起着重要的推动作用。钢轨铺设是指在焊轨基地将多根固定长度的钢轨焊接成一根长钢轨再到铁路现场进行铺设,焊接质量的好坏会影响列车的安全运行。因此,研究钢轨焊缝错边量的合格性检测方法对保障列车安全运行具有重要意义。在不同光照环境下,针对现有的计算机视觉方法不能自动在线识别焊缝的问题,本文采用均值聚类和水平集方法开展焊缝区域自动定位方法研究,进而实现焊缝错边量的合格性自动
学位
涡旋波携带的轨道角动量(Orbital Angular Momentum , OAM)由于其独立于时间和频率之外的新的空间自由度而广泛运用于信息产业。在信息化时代且对高速率,大容量的通信质量的高要求下,携带轨道角动量的涡旋波被用于通信系统。由于轨道角动量的取值在理论上是无穷的,并且各模式之间彼此正交,因此将涡旋波应用到通信系统中潜力是无限的。现阶段,声涡旋在通信系统中的应用还是起步阶段,基于以上,
学位
随着Galileo和北斗卫星导航系统的不断发展,GPS和GLONASS系统的持续优化,卫星导航已经处于多系统融合应用的新纪元,为各地军民生产生活提供了更多导航定位的可能性。同时,信息化、智能化时代的到来,生产生活中的各类应用也对卫星导航定位提出了更高的精确度和实时性要求。导航卫星选星是从所有可视卫星中选择最合适的卫星子集用于导航定位解算,从而避免将所有卫星用于解算带来的计算量;同时,选择的卫星子集
学位
随着互联网规模的日益扩大,传统网络架构的局限性无法很好地满足多元化新业务所带来的通信需求。因此,如何设计新型网络架构,以从根本上解决传统网络的弊端,已成为信息领域最为迫切的研究内容之一。智慧标识网络通过灵活化的连接调度实现对网络的智慧化协同管控,是一种具备良好发展前景的新型网络架构。而由于互联网具有强大的开放性,攻击者仍然能在分析新型网络架构特征的基础上探寻新型攻击方式,网络中的安全隐患仍然存在。
随着数字媒体的不断发展,视频技术已经越来越多的应用于各个领域。但是,由于视频本身携带的数据量很大,直接应用不够现实,因此,需要在传输之前对其进行压缩。为了适应视频高分辨率的要求,视频编码技术经过了一系列发展,比如从H.264(Advanced Video Coding)到HEVC(High Efficiency Video Coding)等。针对这些编码标准的高复杂度问题,目前也有相关优化算法被提
学位
近年来,伴随着智能技术的发展,智能化的移动机器逐渐走进人们的视野,定位技术作为移动机器人的重要技术之一,一直是人们关注的热点。目前最常用的定位系统为GPS和惯导,GPS可以实现在各种气候条件下、持续精密的导航,但受外界影响比较大,在有电磁干扰或者有遮挡的情况下不可用,惯导系统虽不受外界干扰,但会随时间的积累产生累积误差,定位的精度会受到影响。现今随着机器视觉技术的不断发展,基于视觉的定位方法,尤其
学位
随着计算、通信和传感器技术的快速发展,大量的复杂动态系统比如自动制造系统,智能交通系统和物流系统等应运而生,它们都具有混合命令、控制、通信和信息问题的特征。由于各种信号的并发和冲突以及人为设计的运行规则,系统状态只能通过随时间异步发生的离散事件来改变。因此,这类人造系统通常被视为离散事件系统。特别地,由Ramadge和Wonham共同提出的监督控制理论为离散事件系统的控制提供了有力的支撑,其特点在
随着图像领域的飞速发展,导航系统中也渐渐开始使用计算机视觉技术。在GNSS(全球卫星导航系统)拒止条件下,面向无人机安全自主着降的任务需求,设计了一种新型合作标志,研究了目标的特征提取与跟踪方法,研究了无人机视觉导航位姿解算方法,研究了固定翼无人机着降视觉导航技术和固定翼无人机的回收技术等视觉导航应用,提出了一种使用视觉导航来修正无人机基于惯导推算的位姿累积误差的方法,最终实现了无人机的安全自主着
学位