【摘 要】
:
近年来,人工智能技术(AI)已经在很多领域获得了极大的发展,但高精度机器学习模型往往依赖大量的有标注数据,而在很多诸如医疗、军事等实际的应用场景中,样本的获取非常困难,标注也需耗费高昂的人力成本,这极大的限制了AI的应用。此外,现在的机器学习模型越来越庞大,利用大量数据从头训练需消耗巨大的计算资源,然而,人类却具有利用少量样本快速学习的能力。因此,使机器也像人类一样具有在少样本条件下进行鲁棒性学习
论文部分内容阅读
近年来,人工智能技术(AI)已经在很多领域获得了极大的发展,但高精度机器学习模型往往依赖大量的有标注数据,而在很多诸如医疗、军事等实际的应用场景中,样本的获取非常困难,标注也需耗费高昂的人力成本,这极大的限制了AI的应用。此外,现在的机器学习模型越来越庞大,利用大量数据从头训练需消耗巨大的计算资源,然而,人类却具有利用少量样本快速学习的能力。因此,使机器也像人类一样具有在少样本条件下进行鲁棒性学习的能力,成为了一个具有重要现实意义的课题。本文以少样本图像分类问题作为研究对象,重点关注和研究少样本条件下的类别关系挖掘对于模型泛化性的影响。首先,本文挖掘了目标任务测试类别与基类的关联关系,以此提升少样本学习的性能。大多数现有的少样本学习方法利用基类数据预训练一个通用的特征提取模型,然后将其应用于所有少样本分类任务。本文首先证明了不同的基类对目标任务的帮助不同,有些基类甚至引入了负面影响,因此针对目标任务探究其测试类别与基类类别的关系有助于更高效的利用基类数据。为此,我们提出了一种目标指导的基类重加权(TBR)方法,该方法使用一种双层优化算法自适应地根据目标任务为基类分配一组权重。具体地,TBR通过最小化基类数据的加权经验风险来学习特征提取模型,然后根据特征提取模型在目标任务支持集上的性能优化基类权重。这种交替优化将重加权嵌入循环中,使特征提取模型对目标任务的测试类别更加敏感。大量实验表明,所提出的方法可以与基于模型的少样本学习框架结合,有效提升其性能。其次,本文探究了基类之间的关系度量对于特征提取模型类别泛化性的影响。少样本学习利用基类数据预训练特征提取模型,基类之间的度量通常采用独热编码表示,这种锋利的类别关系度量无法表示真正的相似度关系,将强化模型对基类局部判别特征的响应,不可避免的使模型发生基类类别过拟合,从而降低模型对于未见测试类的泛化性。因此,本文引入自然语义空间中的词向量表示(Word Vector)来获得更加准确的类别相关性描述,提出了一个双路特征提取模型,利用词向量作为监督信息可以使模型提取通用特征,通过独热编码可以使模型关注到判别特征,之后利用自适应注意力机制平衡两种特征,从而获得样本的鲁棒性特征表示。实验表明融合语义信息的特征提取模型显著的增加了特征表示的鲁棒性,极大的提升了少样本学习任务的性能。
其他文献
航空发动机被誉为“工业皇冠上的明珠”,更被认为是飞机的心脏。叶片则是航空发动机核心部件,各级叶片为发动机提供80%以上的推力。叶片在复杂的力学环境下工作会导致叶形发生改变,而叶片叶形的变化会使通过发动机内部的气流相对于设计工况发生改变,从而影响到发动机的稳定性、噪音水平和推力性能等。掌握叶片在工作条件下的变形规律,不管是对于现有航空发动机的安全运行还是对于新型叶片的优化设计都有很大的意义。本课题针
跨媒体内容质量评估的目的是用计算机的方法去衡量人对于跨媒体内容的主观感知。目前的方法对于跨媒体质量的分析分为主观评估和客观评估。客观评估多是以分辨率和帧率评定视频质量,以强度和音调衡量声音,以行文规范判断文本质量。然而新的需求是从跨媒体的深层内容出发,思考其蕴含的价值观和内涵,并能参考大众的反响程度。建立一个跨媒体内容质量评估系统,有助于增强对跨媒体内容深层理解和分析的探索。本文提出了一个跨媒体内
传统的医学图像分割主要靠人工完成,这种方法不仅耗时且不可复现。自动化分割技术虽然可以提高处理效率但是大大降低了处理结果的准确性,特别是在组织边缘和细小分支结构区域。基于深度学习的交互式分割方法可以平衡二者的优缺点,兼顾分割的准确性和高效性,在心脏CTA(Computer Tomography angiography)数据组织分割问题中具有十分重要的意义。虚拟内窥技术可以解决传统医学内窥镜无法无创入
数据科学时代,常常需要利用数据集训练学习算法来完成相关任务。其中,训练使用的数据集往往需要我们前瞻性的进行收集,如果想要模型对不太常见的数据也具有良好的效果,数据集必须包含足够的与这些数据相似的例子。训练数据集对待预测数据的覆盖不足往往会导致预测的不准确,为了提前预见到这些不准确性,本文提出了一种评估多维类别型属性数据集对待预测数据的覆盖程度的方法。本文面向评估数据集对待预测数据覆盖程度这一课题,
事件抽取是指从自然语言文本中抽取其中包含的结构化事件信息的任务。事件抽取任务按照抽取目标是否限定为特定领域的事件,可以分为限定域事件抽取和开放域事件抽取。限定域事件抽取需要先指定抽取的领域,人工预定义该领域的事件模式,并基于此进行该领域事件抽取。开放域事件抽取是指在不限定事件类型及模式的情况下,从文本中检测不限定类型及模式的事件并对事件论元信息进行抽取。限定域事件抽取任务的方法往往存在领域间迁移困
随着软件项目需求的急速增长,在软件设计与实现的过程中难免会存在一些缺陷。当软件项目的使用者以及测试人员,发现程序运行过程中出现与预期结果不一样的情形时,会及时向缺陷追踪管理系统报告自己发现的缺陷。但对于大型开源软件项目而言,缺陷追踪管理系统每天都会收到大量的缺陷报告。如果依靠开发人员手动检查并寻找相关源代码所在位置,是一件极其耗费时间与精力的事,因此将缺陷报告中的缺陷自动定位到相关源代码就显得至关
随着当今技术的快速发展以及数据产生方式的多样化,人类所拥有的数据规模日趋庞大,海量数据带来了客观的数字价值,同时也在数据质量方面带来了更多的挑战。时间序列数据是伴随物联网的飞速发展产生的数据,工业界中的时间序列数据往往存在数据异常、数据乱序、属性值缺失、属性值错位等问题,其中属性值错位问题相关的研究比较少,但该问题在工业场景中十分常见,因此研究该问题具有重要的意义。本文从面向实际的数据流场景出发,
理解在软件仓库中执行的维护活动可以帮助软件从业者减少维护成本,做出关于资源分配的决策,从而提高效益。对于大多数软件系统来说,bug是通过软件仓库的问题追踪系统来跟踪的,代码变更是以提交给源代码控制库的形式来合并的。因此,检查软件开发的这些基本工件(新的错误报告或提交)来实时检测bug是很方便的。本文的目标是自动对软件开发过程中的一系列提交进行高精度分类,将提交分类为bug修复相关或与bug修复无关
近几年,以MOOC平台为典型代表的在线教育平台正迅猛发展。在线教育没有中高考等门槛,没有必须在某个地方才能学习的要求和弊端。这让每个人都可以平等地享受到名牌大学的优质教育,学习者可以根据自己的兴趣和需求,自由地选择有兴趣的,流行的或者是大家都称赞的课程。但是,这在为学习者学习提供极高的便捷性的同时,也割裂了传统课堂学习环境下,学习者和其他人的直接接触。由此导致了学习者总是习惯于独自学习,没有动力去
在实际的深空探测任务中,当探测阶段处于接近段时,探测器距离小天体较远,搭载在探测器上的窄视场相机无法清晰地观测到小天体表面的纹理信息,只能观测到轮廓信息。在此阶段准确恢复出的小天体模型,会为近距离详细测绘阶段探测规划提供依据,同时为近距离高精度小天体三维重建任务提供初始模型。如何应用小天体的轮廓信息准确恢复其三维模型对于小天体探测任务具有重要意义。本文从相机外参数精准、相机外参数存在误差两方面出发