基于持续学习的图像描述生成

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:sdwhliyang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像描述生成可以对给定图像自动生成与其内容一致的自然语言描述,是一种跨计算机视觉领域与自然语言处理领域的交叉任务。在过去几年中,许多深度学习方法在非增量的图像描述生成任务中取得了非常好的效果。然而面对数据的爆炸式增长,传统图像描述生成方法在增量学习新知识时会遭遇灾难性遗忘的问题。考虑到人类有终身不断获取、调整和转移知识的能力,本文对增量式图像描述生成方法进行了研究。针对图像描述生成方法现有方法在持续学习场景中存在的问题,本文结合注意力机制、隐空间分解以及知识蒸馏等方法,赋予了图像描述生成方法可持续学习的能力。本文的主要研究内容如下:1.针对网络权重随着任务序列的进行而发生过度漂移的现象,提出了基于多层域选择注意力机制的持续图像描述生成方法。该方法使用注意力机制对特定于前序任务域的网络权重进行筛选,约束这些权重更新的方向与幅度,以防止其在任务域之间发生过度的漂移;为了更好的控制特定于前序任务权重的更新,本文设计了基于域选择注意力的记忆因子,该因子施加在权重梯度更新的过程中,使得筛选出的权重能够变化更小,从而防止模型产生灾难性遗忘问题。实验表明,与同类方法相比,该方法能够取得更优的性能。2.针对人类通过归纳事物的表层特征与内在结构特征从而对新领域快速学习的思维方式,提出了基于隐空间分解的持续图像描述生成方法。该方法通过正交性约束的手段将特征分解为任务特异性特征与任务不变性特征,并随着任务序列的进行通过对抗学习的方法不断巩固任务不变特征,同时通过结构扩展的方法冻结对于任务域高度敏感的任务特异性特征,从而保证模型的可持续学习能力。实验结果表明,该方法在多个持续学习场景下相比已有方法在抗遗忘能力上具有优势。3.针对灾难性遗忘不仅仅来自于前序任务知识的有限接触,而且还受到未来任务天然限制的特点,提出了基于多教师知识蒸馏的持续图像描述生成方法。针对先前任务知识的有限接触问题,本文设计了知识回播器让模型能够更多的接触到前序任务的知识;针对未来任务的天然限制,本文使用了基于自蒸馏的对比损失用以提取对于未来任务有用的具有域间迁移能力的特征,并使用多教师知识蒸馏的方法对不同任务的可迁移特征进行整合,从而有效缓解灾难性遗忘。实验表明,该方法使用的两个部件都是有效的,且与同类方法相比表现出更好的抗遗忘性能。
其他文献
报纸
当前,新一轮科技革命和产业变革迅猛发展,世界各个主要发达国家均将智能制造作为未来制造业的发展方向,纷纷提出以智能制造为核心的工业化战略。数字孪生和人工智能是智能制造重要的支撑技术。智能工厂/车间/产线是实现智能制造的重要载体。数字孪生产线是人、信息和物理系统深度融合的最基本单元。对数字孪产线进行剖析不仅有利于深入理解数字孪生系统,还有利于数字孪生快速落地实践。本文提出了一个基于机电一体化方法的数字
学位
红外探测技术具有定位精度高、隐蔽性好、安全性高和抗干扰能力强等特点,使红外小目标检测在民用和军事领域上都得到广泛应用。但又由于目标与成像系统的距离较远,且有大气辐射的干扰,所处的背景信息复杂多变,使得小目标在红外图像占的像素较少,缺少先验信息,且有背景和噪声杂波的干扰。因此研究不同背景下的红外小目标检测技术有非常重要且深远的意义。本文总结了目前单帧红外小目标检测算法的适用场景和存在的不足。在此基础
学位
在无线通信技术蓬勃发展的今天,各种无线电收发设备已经普及到各行各业。大量不同用途的通信信号在电磁空间中相互交叠,构建出越来越复杂的电磁环境。为了能够更好地监测和识别无线通信信号,认知无线电技术应运而生。对于认知无线电技术来说,调制识别技术是关键技术之一。针对传统基于决策或特征的调制识别方法中存在的问题,本文提出基于深度神经网络的识别方案。针对实际应用中需要即时、快速识别信号调制类型的要求,本文提出
学位
单层六方氮化硼(h-BN)是一种宽禁带二维纳米材料,因其优异的力学、电学、光学特性广泛应用于微纳机电系统、光电器件、和场效应晶体管等领域。然而,h-BN材料在制备过程中难免会引入一些缺陷,从而影响材料性质。本文采用第一性原理方法,对本征及含空位缺陷单层h-BN的力学性能以及电学性能展开研究,主要研究内容和创新性工作包括:(1)采用第一性原理方法,研究了本征单层h-BN在不同手性方向受单轴应变的力学
学位
柔性离电式传感器具有灵敏度高、响应范围宽、稳定性高等优点,在可穿戴设备、柔性电子、便携式检测等领域表现出巨大的应用前景,受到国内外科研人员的重点研究。目前,柔性离电式传感器在灵敏度、响应范围等方面仍有较大的优化空间。本文提出一种基于二硫化钼的柔性离电式压力传感器,对其结构设计和制备工艺流程开展了较为系统的研究。论文的主要研究工作如下:(1)基于单层二硫化钼的赝电容特性和双电层电容传感机理,提出了一
学位
目前,随着工业自动化技术的不断提升和社会生活发展需求的逐步提高,人们对机器人系统的控制性能要求也越来越高,除了关注系统的稳态性能外,系统的瞬态性能也慢慢受到重视。预设性能控制可以同时保证系统的稳态和瞬态性能,即保证机器人系统在实现全局渐近稳定的同时,还能满足系统的瞬态性能要求。近年来,对机器人系统控制的稳定性、快速性和准确性要求也越来越高,因此对机器人系统的预设性能轨迹跟踪控制的深入研究也变得十分
学位
随着无人驾驶技术的不断发展,四旋翼无人机凭借体积小、机动灵活、便于安装调试等诸多优点受到了人们的广泛青睐。目前无人机室外飞行技术已经日趋成熟,但在室内未知环境中,由于GPS信号容易受到干扰,无法提供准确的定位信息,导致无人机室内飞行受到了极大限制。因此本文设计了一种基于多传感器融合的四旋翼无人机室内飞行平台,该平台能够实时获取飞行器的位置信息并构建出前向可飞行通道,实现室内走廊的自主飞行。(1)针
学位
近年来,数字产权的验证、盗版产品的追踪以及保证数据的完整性等安全管理变得越来越重要。数字水印是一个强大的安全工具,它可以保护数字产品的版权、验证产品的真实性等。传统数字水印基于物理学原理,缺乏严格的数学分析,所以密码学水印是一个值得研究的课题。现有的密码学水印方案大多都是给伪随机函数加水印。水印方案允许我们嵌入标记到原程序中,其需要满足的基本性质就是正确性和安全性。正确性需要水印标记后的程序和原程
学位
人类住宅和活动区域的电力消耗在全球能源消耗中占据了很大比重,因此在节能减排成为全球重要话题的当下,智能电网系统已经逐渐替代了传统电网系统,帮助促进科学用电以及提高电能利用效率。非侵入式负荷监测(NILM)是智能电网的关键组成技术,能够更加清晰、直观地了解住户的能耗使用情况,通过该技术不仅可以减少住户的能源浪费,为电网公司带来经济效益,而且可以为全球节能减排作出贡献。非侵入式负荷监测技术旨在通过从整
学位