开放场景下的鲁棒深度度量学习

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:wowoni
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为机器学习领域的一个重要分支,度量学习被广泛应用于信息检索、目标识别、姿态估计等实际应用中。近年来,随着深度学习的迅猛发展,与其相结合的深度度量学习逐渐发展成为度量学习中的主流方法。尽管现有的深度度量学习方法已经取得了较好的性能,但其性能严重依赖于大规模高质量标注的训练数据。然而,在诸多实际应用中所面临的开放环境下,这些在实验室环境下使用的大规模高质量标注的训练数据往往难以获取。面对开放环境下训练数据不够理想的情况,深度度量学习的鲁棒性和泛化能力面临着巨大的考验。本文致力于研究开放场景下的深度度量学习算法。针对开放场景下可获取到的训练数据集存在的问题:如数据没有人工标注、可用于训练的数据规模较小、用于训练的数据含有噪声标签等,进行理论方法创新。本文的主要创新工作概括如下:1.提出一种基于贝叶斯推断的鲁棒深度度量学习方法。现有的深度度量学习算法仅能在大规模的准确标注数据上得到理论性能,对小规模数据的泛化性以及标签噪声的鲁棒性较差。鉴于此,本文提出了一种基于贝叶斯推断的鲁棒深度度量学习方法。该方法首次将分层贝叶斯推断引入深度度量学习,利用一类自适应尖峰和平板先验构建分层贝叶斯公式,用以自动捕捉模型参数的结构信息。与现有的深度度量学习方法相比,该方法可以仅使用小规模标记数据进行训练就获得良好性能,并且对标签噪声具有更强的鲁棒性。实验表明,在含有噪声标签的数据集以及规模较小的数据集上,该方法均显著优于对比的基线方法。2.提出一种基于双曲空间的无监督深度度量学习方法。在没有任何人工标注作为监督信息的情况下直接从图像中学习特征嵌入是计算机视觉和机器学习领域中一项非常重要且具有挑战性的任务。由于缺乏人工标注的信息,且数据显示出非欧式的内在结构,本文提出了一种具有层次相似性的基于双曲空间的无监督度量学习方法。它通过利用双曲空间下的度量学习和层次聚类来考虑数据的自然层次结构,可以有效地在建模中挖掘并利用更为丰富的多级相似性信息。实验表明,该方法可以有效挖掘数据内在丰富的层次相似性,实现在无监督数据上学习具有判别力的特征嵌入。3.提出一种自适应层次化的鲁棒深度度量学习方法。大多数现有的利用二值相似性的深度度量学习方法对噪声标签很敏感,可是这些噪声标签广泛存在于现实世界的数据中。由于这些噪声标签通常会导致性能严重下降,本文提出了一种自适应层次化的鲁棒深度度量学习方法来缓解噪声标签的影响。它考虑了两种对噪声不敏感的信息:类级多样性利用双曲度量学习有效地挖掘出比二值更丰富的相似性信息;样本级一致性通过对比增广进一步提高模型的泛化能力。更重要的是,本文设计了一种自适应策略,将这些信息整合到一个统一的框架中,并可以扩展到任何成对损失方法中。实验表明,该方法可以挖掘数据中潜在的对噪声不敏感信息用于模型训练,提升度量学习算法的鲁棒性与泛化能力,实现在含有噪声标签的数据集上也能学习到有效的相似性度量。4.进一步将深度度量学习应用到噪声标签学习方法中,提出一种基于负相关性度量的噪声标签学习方法。现有的噪声标签学习方法忽略了隐藏在噪声数据中的有用信息,不能保证模型的鲁棒泛化能力。为了解决这个问题,本文提出将深度度量学习方法与噪声标签学习方法相结合,构建度量空间捕捉并利用来自噪声数据的负相关信息。具体来说,在标签空间中,我们利用弱增广数据过滤样本,并在所选样本集的强增强上采用分类损失,这样可以保持训练的多样性。在度量空间中,我们利用弱监督对比学习来挖掘隐藏在噪声数据中的这些负相关信息。
其他文献
深度神经网络在图像分类、检测以及动作识别等多种视觉任务上取得了巨大的成功。但是由于现有深度神经网络结构复杂,计算复杂度高,因此难以在移动设备和计算能力受限的设备上直接应用。因此,神经网络剪枝,作为一种模型轻量化和计算加速工具,近年来开始受到来自学术界和工业界的关注并被广泛应用于实际的深度模型部署应用中。深度神经网络剪枝算法的核心是通过剪除冗余的滤波器参数以获得紧凑的深度神经网络,现有的深度神经网络
学位
随着目标隐身性能的不断提升,传统的先检测后跟踪预警体系难以对上述目标进行有效检测和稳定跟踪。多帧检测前跟踪技术利用多帧量测信息的能量进行非相干积累,能够有效实现微弱目标的检测和跟踪。然而,随着威胁目标的分布、运动特性朝着多批次、高机动以及集群化等方向发展,现有的多帧检测前跟踪技术面临多目标检测运算复杂度高、虚假目标数量多、机动目标检测概率低、跟踪精度差和集群目标检测分辨率低等问题。针对上述问题,本
学位
单细胞转录组测序技术是分析单个细胞内基因表达水平使用最广泛的技术。随着单细胞转录组测序技术的快速发展和测序成本的逐渐降低,大量的单细胞转录组数据随之产生,这鼓励了一些超大规模生物项目的成立,如小鼠和人类的细胞图谱。该项目致力于构建一个囊括生物体内几乎所有细胞的参考图谱,但受限于目前的生物技术,不可避免地要求分批生成数据。因此,近年来集成不同批次的单细胞转录组数据成为了生物信息学领域内的热点问题。与
学位
近年来,图像处理中的不适定问题已成为人们广为关注的热点问题。解决这些不适定问题的最常用和最有效的方法是正则化方法,它的主要思想是对目标函数添加具有引导作用的约束项,目的是使最终的解具有期望的性质。基于正则化约束的图像处理方法已被广泛地研究,但如何构造合适的正则约束仍然是一个具有挑战性的问题。在本文中,针对图像恢复和图像分类这两个任务,我们通过分析目标变量的理想结构来设计合理有效的正则化模型,具体工
学位
电磁波是当今时代信息传递与信息获取的重要工具。然而,各种辐射源、散射源构成的现今极度复杂的电磁环境,使得频谱资源和信号安全问题越来越受到人们的关注,因此信号参数测量技术被广泛应用于各种场景。电域信号参数测量系统由于电子瓶颈限制,存在工作频带窄、易受电磁干扰、体积重量功耗大等技术问题,难以满足现今不断提高的系统指标和逐渐复杂的应用场景。近年来,随着微波光子技术的迅猛发展,基于微波光子技术的信号参数测
学位
空间嵌入式操作系统是空间飞行器必备的基础软件,决定了空间飞行器是否能够可靠安全地完成空间飞行任务。目前已经采用多种手段来保证其可靠性和安全性,但是仍然存在一些难以发现的缺陷。形式化验证方法在一些工业领域中得到了很好的应用,被验证过的系统的可靠性和安全性都远远高于未验证的系统。因此,采用形式化方法来验证空间嵌入式操作系统势在必行,保证其正确性,从而使其更加可靠安全。存储子系统是空间嵌入式操作系统的重
学位
入射光照射纳米材料表面激发自由电子的集体振荡产生表面等离激元现象,并随之出现一系列产物比如局域场增强和热载流子。目前,基于表面等离激元的实践应用还存在诸多局限性:传统贵金属材料中强烈的朗道弛豫衰减和散射效应导致表面等离激元的高传播损耗,并且贵金属的稀缺性也不利于可持续发展;目前在可见光波段响应的等离激元材料非常少,极大限制了基于太阳能转换利用的光电系统发展。因此,探索具有低损耗和宽带强响应的替代贵
学位
随着我国经济的快速发展,我国对能源的需求日益增加。目前,我国油气能源的供给与需求呈现明显的逆向分布。大力建设能源输送网络对于优化我国能源分布,推动经济稳定发展具有重要意义。高压输电线路与长输油气管道在路径的选取规则上极其相似,二者共用“公共走廊”。高压交流输电线路通过电磁感应作用对长输管道产生交流干扰,交流腐蚀问题日益严重。随着我国输电线路的发展,电压等级逐步提升,我国标准缺少相关等级下高压输电线
学位
随着科技的快速发展,电子技术已经普遍应用于人类社会的各个方面,电子器件已成为生产生活中必不可少的重要工具。而电子器件也在朝着多功能、高集成、小型化的趋势不断演进,这对相关材料提出了更多的要求。而与此同时,低维材料由于其丰富且优良的特性恰好可以满足器件发展的需求,其中低维铁电材料更是因其内部存在自发铁电极化且极化可随外电场翻转的特点,在传感器和非易失性存储器等器件应用方面具有重要的价值。低维铁电材料
学位
目标识别是现代智能机器和系统的重要组成部分,在许多现实应用中起着至关重要的作用,如交通监控、安全监控、自动驾驶车辆、自主移动机器人、人类行为分析、医疗成像等。三维目标识别是智能体感知和理解场景的关键技术,是机器与世界交互的基础。目前深度学习是三维目标识别研究的主流,然而,传统的深度学习方法如卷积神经网络忽略了三维数据之间的高阶相关性,不利于特征的有效融合。超图是建模高阶、复杂数据关系的有效工具,超
学位