【摘 要】
:
深度学习以其强大的特征学习能力和表征能力在图像分类任务中发挥着越来越重要的作用,大量深度分类网络不断被提出,但深度分类网络深受数据集和网络模型的影响,存在消耗庞大计算资源的问题,因此对深度分类网络的结构优化研究是一个十分有意义的课题。提升深度网络的性能、减少对计算资源的消耗而设计更轻量级的网络模块,是近年来学者们关注的研究热点。目前,深度分类网络面临着以下的研究问题:如何缓解网络中的深度和宽度冗余
论文部分内容阅读
深度学习以其强大的特征学习能力和表征能力在图像分类任务中发挥着越来越重要的作用,大量深度分类网络不断被提出,但深度分类网络深受数据集和网络模型的影响,存在消耗庞大计算资源的问题,因此对深度分类网络的结构优化研究是一个十分有意义的课题。提升深度网络的性能、减少对计算资源的消耗而设计更轻量级的网络模块,是近年来学者们关注的研究热点。目前,深度分类网络面临着以下的研究问题:如何缓解网络中的深度和宽度冗余问题;如何无损获取特征图的注意力信息问题;如何解决由全局平均池化导致信息丢失和梯度传递连续性中断的问题。本论文针对这三个问题对现有网络结构进行优化研究,提出相对应的解决方法,提升深度分类网络的分类性能。本文主要的研究工作和创新点如下:(1)在网络的深度和宽度结构的优化研究上,融合残差连接、密集连接和谷歌网络的设计思想,提出了交叉残差Inception模块(Cross-Residual-Inception,CRI)。不同于Inception-Residual的单条残差结构,CRI模块在宽度结构的每一分支上都采用两条交叉残差连接,将每一分支上的前层特征信息有效的传递到后层,避免了过多残差连接引起的冗余问题。在不同分支上采取不同的卷积核配置使每一分支学习不同感受野下的特征信息,增强宽度结构特征学习的丰富度。在Image Net32和CIFAR数据集上,CRI网络以更少的深度和参数达到相同的精度。(2)在信道域注意力机制的优化研究上,提出逐深度挤压和精炼模块(Depthwise Squeeze and Refinement,DSR)。该模块利用每张特征图上无损的全局信息,根据特征图之间的独立性而不是依赖性实现特征图的重新校准,为研究信道域注意力机制提供了新的研究思路。针对SENet等注意力机制使用全局池化而造成特征信息丢失的问题,提出使用逐深度卷积替代全局池化来获取特征图信息,增强蕴含区分性信息多的特征图而抑制区分性信息少的特征图,有效提升了深度分类网络的性能。为减少参数和快速获取特征图的全局信息,该模块使用两个逐深度卷积层。DSR模块具有代码实现简单的优点,可直接应用于众多类型的深度分类网络中,在Image Net32和CIFAR数据集上,使用DSR方法的深度分类网络取得比SENet、CBAM等注意力机制更为优异的性能提升效果。本文设计了多个消融实验,分析卷积层数、精炼函数、特征图独立性、模块位置对DSR模块的影响。(3)在全局池化操作的优化研究上,增强对区分性高维语义信息的学习能力,保证梯度传递的连续性,提出全局可学习池化方法(Global Learnable Pooling,GLPool)。不同于全局平均池化操作对梯度的平均化操作,GLPool方法通过突出区分性特征区域的贡献能力,增强显著性特征的梯度,从而提升深度网络的分类性能。GLPool方法具有自适应于网络尺寸、参数少的优点。针对池化层所处的位置和尺寸,本文提出并验证假设:池化的区域越大、越靠近网络的输出端,池化层对于网络的影响越大。为显示GLPool方法增强区分性特征区域的学习能力,本文使用类激活图(Class Activation Map,CAM)可视化深度分类网络的学习结果。在Image Net32和CIFAR100数据集上,GLPool使Res Net、Goog Le Net、Shuffle Net等网络的性能显著提升。
其他文献
"亢则害,承乃制"即亢害承制论,若邪气过盛则为亢,物为亢邪所损则为害。动脉粥样硬化为病之因有二:一为体质,二为宿邪。现代医学将可能导致动脉粥样硬化的物质但未形成真正病灶时称之为"盛";"盛"的日积月累导致"害"的结果时,"盛"转变为"亢"。低密度脂蛋白的升高即为"盛",此时由于饮食、情志、体质等因素导致血液中出现痰湿之邪。而动脉粥样硬化的关键病变为巨噬细胞转化为泡沫细胞,并分泌更多的炎症因子以诱发
结构光三维测量方法具有非接触、精度高、成本低、测距大等特点,已经被广泛应用于逆向工程、机械制造、物体识别、医学诊断和文物保护等领域。由于结构光测量过程中存在投影仪的非线性影响、投影仪的离焦量影响、相位展开误差以及标定误差等影响因素,因此如何提高测量的精度和速度是目前结构光三维测量的重要研究方向。本文在国内外相关研究成果的基础上,对结构光三维测量关键方法进行了深入研究,针对现有方法的不足,提出了多种
本文研究了自相似集和自仿集的拓扑结构和拓扑性质,主要包括有重叠的自相似集的拓扑分类和Lipschitz分类,含参数自相似集族和自仿集族的连通性。全文内容分为以下七个章节:第一章介绍了本文的研究背景和研究现状,并叙述了本文的主要结论。第二章介绍了本文需要用到的概念和结论,主要涉及迭代函数系统、自相似集、自仿集、符号空间、Gromov双曲图理论以及矩阵重排条件。第三章研究了一类有重叠结构的平面自相似集
钢结构被广泛的应用在工业与民用建筑、桥梁工程中,但是,由于不断受到环境腐蚀、超载运营等因素的影响,钢结构会出现老化、承载力降低等现象,进而可能出现不能满足使用要求的情况。因此,研究如何对钢结构进行加固,已成为一项土木领域中的重要研究内容。碳纤维增强复合材料(Carbon Fiber Reinforced Polymer,CFRP)因具有质量轻、强度高、耐腐蚀等优点被应用于钢结构加固中。本文在国内外
装配式钢-混凝土组合梁具有提高施工质量,加快施工进度,减少施工过程中对周围环境影响的优势,但目前的研究和应用主要集中于采用栓钉抗剪连接件的现浇钢-混凝土组合梁,对于采用刚性抗剪连接件的组合梁以及装配式钢-混凝土组合梁的研究相对较少,且缺乏系统性。因此本文对装配式钢-混凝土组合梁力学性能进行了抗剪连接件的推出试验以及装配式钢-混凝土组合梁的梁式试验研究,通过ABAQUS有限元软件进行了模型计算和理论
随着互联网应用的快速发展和语义Web技术研究的深入,越来越多的语义应用系统采用了 RDF(Resource Description Framework)作为数据表示和交换的媒介。作为实现语义Web上知识表示和推理的数据基础,RDF数据模型通用性很强,能够以有向标签图的形式来描述和组织语义Web上的一切资源。如今,RDF数据模型在当前的Web数据管理场景中扮演着越来越重要的角色,它事实上已经成为了语
人生过程中健康始终是第一要务,但疾病难于避免。每个人从出生开始,就与医疗结下不解之缘。往往在走向危重症疾病深渊的路上,暗含医疗事件的颗颗铺路石。同时,长期困扰世界各国的医疗纠纷,与不断蔓延的医患对立情绪,都为循证医学提出了更高地研究要求。如何解析临床决策中暗含的玄机,高效利用医学知识抽丝剥茧医疗事件,对临床危重症疾病的早期发现与预测干预极为有利,同时可以有效缓解医患矛盾。面对临床危重症疾病的高病死
声景(Soundscape)关注声音、环境与人的交互关系,是“特定场景下,个人或群体所感知、体验或理解的声环境”。声景研究将重点放在听觉感受及对其解释上,从声景营造维度实现声环境优化,是未来城市声环境品质提升的方向。近年来,声景的健康效益已成为声景领域的国际研究热点。在响应“健康中国”国家战略与健康产业大发展的背景下,城市公园等绿地系统作为重要的城市恢复性环境,为公众提供了休养、游憩的生活空间与生
根据《中国制造2025》发展规划的总体要求,汽车设计逐渐向节能、安全、舒适等方向发展,NVH舒适性作为衡量汽车“品质感”的一项重要指标,近年来逐渐成为广大汽车厂商关注的重点。传统的NVH性能研究大多集中在0-200Hz低频段,随着汽车NVH性能研究的日益深化,中高频振动噪声问题开始受到普遍关注。本课题依托“国家重点研发计划项目”、“重庆市科技创新基金项目”、“上汽集团种子基金计划”项目,围绕混合F
互联网在全球的大规模覆盖使得人们的生活越来越方便。尽管其影响深远,网络纵向一体化(网络控制和数据转发捆绑在一起)的结构导致运营商对于大规模网络参数的配置以及协议部署、修改、测试都变得极其困难,严重阻碍了互联网的创新与发展。此外,为了满足用户服务需求的多样化和服务质量的高要求,网络中大量部署了各种不兼容、封闭且异构的专用硬件设备用于实现各类网络功能,这些专用硬件又被称之为中间盒子(middle-bo