面向图像分类任务的卷积神经网络结构搜索算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:gwzdx1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,卷积神经网络在图像特征学习领域取得了令人瞩目的成功,能够有效地解决图像分类、图像分割、目标识别等问题。为了追求更高的性能,研究人员设计出许多结构精巧、参数量大的模型应用于各种计算机视觉任务当中。然而,设计一个良好的神经网络结构并非易事,不仅需要设计者掌握深度学习的相关专业知识,而且要求设计者能够针对不同任务的特点设计适合的神经网络结构。因此,提出了神经网络结构搜索来解决神经网络结构的设计难题。神经网络结构搜索是一种用机器自动化设计网络结构的新方法,能够针对不同的任务目标端到端地调整网络结构,减少繁重的人工设计成本。在众多搜索算法中,oneshot搜索算法通过改进评估流程大大提升了搜索效率,吸引了众多研究者的关注。然而目前的算法在搜索空间、训练方法和搜索策略上仍然存在一些问题。大多数搜索空间采用相同模块重复堆叠的模式,单一的层操作不利于网络的分层优化。One-shot搜索算法用参数共享的超网络覆盖整个搜索空间,超网络节点的参数互相耦合会导致最终评估不准确。此外,目前大部分one-shot搜索算法都是面向自然图像数据集设计高精度的卷积模型,而不考虑模型的复杂度。这主要是因为搜索空间受到超网络规模的限制,导致宽度搜索十分困难,同时搜索策略只能解决单目标问题。本文针对这些问题进行了研究并提出改进算法,并且将算法应用到遥感图像分类领域,主要内容可概括如下:(1)针对搜索空间层操作单一的问题,设计了一种支持层多样性的搜索空间,由算法自动搜索每一层卷积模块的内部结构参数使各层操作类型不同,实现图像特征信息的分层提取。并且有针对性地将模型深度以及轻量化操作设置为搜索目标,提升卷积模型在存储和计算瓶颈下的特征学习能力。针对one-shot搜索算法评估不准确的问题,提出基于知识蒸馏的分阶段监督超网络训练方法。首先根据分辨率将超网络训练进行阶段划分,减小单次训练的搜索空间大小,保证每个子网络经过平等和充分的训练。然后通过知识蒸馏方法,从现有的神经网络中蒸馏出阶段性的神经结构知识,监督超网络中间阶段的训练。所提出的算法在评估性能相关性、搜索模型最终精度和搜索效率上相比于其他神经网络结构搜索工作具有显著提升。(2)针对one-shot算法难以搜索网络结构宽度的问题,提出基于显著性的宽度搜索方法。构建超网络时将不同的宽度选项聚合在一个操作实例中,令具有不同宽度的操作共享参数。前向传播时将范数的大小作为衡量通道显著性的指标,保留排名靠前的通道作为较窄网络的数据通路,避免窄网络在参数共享的过程中性能损失过多。本文还将神经网络结构搜索算法扩展应用到遥感图像场景分类领域,用进化算法作为搜索策略实现网络结构的编码、交叉变异和搜索。考虑到资源受限计算场景的模型部署问题,将结构搜索建模为多目标问题,建立网络结构与分类性能和复杂度之间的映射关系,最终找到一系列在各级复杂度约束下性能最优的模型。
其他文献
随着航天技术的发展,人们对整流罩内的环境要求也越来越高,而保障其环境质量的主要手段之一是通过整流罩空调对进风参数进行控制。目前主流的空调控制方法是常规PID(比例积分微分)控制与模糊PID控制,但整流罩空调不同于其它空调,它对控制系统的准确性、稳定性、快速性要求极高,这两种算法由于自身的缺陷,很难满足整流罩空调的控制要求。PID控制需要精确的系统模型,但整流罩空调是具有时变性、滞后性和强耦合性的非
学位
随着信息技术的发展,我国需要对农业的发展进行转变和改革。目前大力推动农业方面的信息化建设已成为我国发展的重要任务,这也是实现农村现代化较为重要的一步。网络中的数据以爆炸性增长,为了从海量数据中获取目标数据,搜索引擎应运而生,当前搜索引擎是人们快速获取信息的主要工具。搜索引擎的搜索结果匹配度又极其依赖于使用的分词方法,分词能力越好会得到更高匹配度的结果,同时高匹配度会大大缩短用户获取目标信息的时间。
学位
近年来,随着深度神经网络和传感器技术的发展,自动驾驶成为了人们的研究热点。环境感知模块是整个无人驾驶系统的关键,其输出的精确度直接影响着下游模块,例如规划、决策和定位。为了提高自动驾驶系统环境感知的性能与可靠性并降低成本,相机-激光雷达感知融合技术受到了越来越多的研究者的关注。然而,激光雷达获取的点云深度图是不规则的无序的,这极大地制约了3D感知技术。为了解决上述问题,稀疏深度补全任务被提了出来,
学位
随着近年来计算机领域的迅速发展,电子战在现代战争中的战略地位也日益重要,因此运用计算机实现作战仿真系统也逐渐被军队所使用。将武器装备通过计算机进行建模并构建作战仿真系统不仅能够快速推演作战方案,对验证武器装备可行性、组织作训人员进行模拟训练,提升作战经验等都具有很大的帮助。本文设计了基于组件化建模的水下仿真控制演练系统,该系统总体上采用标准化、层次化、模块化方法,各个功能模块之间低耦合,便于维护和
学位
随着计算机技术和传感器技术的快速发展,红外图像以其具有的夜视范围广、抗干扰能力强、可全天候工作等优势,被广泛应用于军事和民用等领域。红外图像目标检测作为现代红外系统的核心技术,一直是图像处理领域的重要研究内容。近年来,随着深度学习技术在图像处理领域取得的卓越研究进展,有效推动了红外图像目标检测技术的发展。在诸多深度学习目标检测算法中,基于Anchor的回归型目标检测算法是经典算法之一,它可以直接将
学位
随着深度学习的不断发展,神经网络,尤其是卷积神经网络已经广泛应用于各种计算机视觉任务中,与此同时,在传感器技术飞速发展的背景下,多类型传感器已经部署到大量应用中,比如视频监控和自动驾驶技术。因此,本文研究了基于CNN和小波变换的低光照图像增强算法,同时提出了一种基于多传感器协同和CNN的视频编码新范式。本文的主要贡献如下:1.在低光照条件下拍摄的图像动态范围较窄,色调较暗,信噪比低,而且图像中所含
学位
在现代无线通信和雷达系统中,电磁波前赋形具有重要的应用价值和研究意义,通过波束赋形技术可以实现特定的远场方向图来满足实际应用场景的需求。电磁超表面作为一种平面型的人造复合电磁结构,由于具有剖面低、设计灵活、加工便捷、损耗低等明显优势在电磁波调控与设计领域成为研究热点,其表现出来的独特的电磁性能为实现对电磁波的完全控制提供了一种新的方案。本文主要研究电磁超表面对电磁波幅度和相位的同时调控机理,分别设
学位
由于玻璃特殊的光学性质,日常生活中透过玻璃拍摄的照片通常会被反射遮挡,从而影响信息的获取,如何去除反射并恢复图像被遮挡的信息成为一个亟需解决且富有挑战性的任务。由于照片的首要关注点是人脸,所以带有反射的人脸图像会给观众带来更大的困扰。近年来,在具备丰富标记数据的前提下,基于深度学习的目标检测器取得了较好的性能表现。然而,数据标注通常是昂贵且耗时的。因此,能够从一个标记样本中学习一个泛化模型的one
学位
图像是人们感受和理解世界的重要媒介,相比于文字和声音,图像承载着更加直观且丰富的信息。然而,在采集、处理和传输过程中,图像不可避免地产生失真和降质,增加了图像理解的难度。因此,需要设计图像质量评价算法解析图像降质的原因并量化其质量,从而为图像画质的增强和视觉体验的提升提供指导。本文从主观图像质量评价的特性出发,首先研究了主观图像质量评价中图像质量排序任务与评分任务的关联关系,并在此基础上设计相应的
学位
随着智能成像设备的普及和互联网的快速发展,图像数据呈现爆发式增长。然而,互联网上的大部分图像是没有对应的语义描述的,这使得人们很难有效利用这些图像信息。人工标注耗时耗力,而且存在个体差异。图像描述生成模型可以为图像数据自动生成相匹配的字幕,这广泛应用于智能搜索、人机交互等领域。近年来,随着深度学习算法被引入到图像描述生成任务中,模型生成的字幕质量显著提升,在个别指标上甚至超过人类。然而,现有数据集
学位