【摘 要】
:
随着计算力的提升,机器智能的发展,人类能够利用海量的信息训练模型。然而,机器想要准确地利用信息,需要准确的标注信息,否则杂乱的信息与噪声无异,学习模型的任务也无从谈起。同时,人们所拥有的少量标注数据和将要被处理的未标注数据,有时只是在观感上相似,实际却并不属于同一个概率分布。在这种情形下,传统的基于同分布的监督学习,无法解决标注数据与未标注数据的分布差异。如果无视分布差异,将标注数据学习到的模型强
论文部分内容阅读
随着计算力的提升,机器智能的发展,人类能够利用海量的信息训练模型。然而,机器想要准确地利用信息,需要准确的标注信息,否则杂乱的信息与噪声无异,学习模型的任务也无从谈起。同时,人们所拥有的少量标注数据和将要被处理的未标注数据,有时只是在观感上相似,实际却并不属于同一个概率分布。在这种情形下,传统的基于同分布的监督学习,无法解决标注数据与未标注数据的分布差异。如果无视分布差异,将标注数据学习到的模型强行套用到未标注数据上,得到的结果往往与预期想去甚远。因此,如何在欠标注场景下,高效利用标注数据,同时解决分布差异问题,成为了学术界和工业界的一大挑战。针对上述挑战,本文提出了欠标注场景中迁移学习算法。具体来说,本文的主要研究问题聚焦于图像分类中,利用不同分布的训练数据学习模型来估计测试样本标注。对于测试数据来说,图像的标注是未知的或是少部分已知的,因此这个分类问题是欠标注场景下的分类问题。在缺少标注数据的情景下,本文利用与测试数据语义空间相似但样本空间不同的训练数据来辅助学习模型。如果把训练数据称为源域,将测试数据记为目标域,欠标注场景中的测试数据标签预测问题就转化为通过源域数据学习优秀的模型来预测目标域标签的问题。然而,源域数据和目标域数据在样本空间的差异,会影响对测试数据标签的估计。针对这个问题,本文分别提出了深度和非深度场景下解决分布差异的算法。在非深度场景下,本文要解决的主要问题是在图像分类任务中的两大难点:一是学习到具有源域和目标域共享因子的子空间,二是解决多源域适配中的负迁移问题。相比于学术界的主流算法,本文在子空间学习和标签预测两个方面做出了创新。一般算法利用一阶矩作为正则项来学习投影矩阵,而本文综合利用了矩对齐和图嵌入来学习子空间。其中,图嵌入的引入从流形学习的角度保留了样本之间的关系,通过制定对应的图规则来尽可能地消除负迁移。在标签预测方面,相比于一般算法直接用最近邻原则预测标签,本文创新性地提出了在高维空间和低维空间同时预测标签的方式。在深度场景下,本文要解决的主要问题是图像分类任务中的两大难点:一是如何学习域不变特征,二是如何充分地训练特征网络和判别器。相比于学术界的主流算法,本文创新性地利用了最大最小熵的性质,将其与对抗学习匹配,引出了一种学习域不变特征的算法。根据调查,本文的最大熵策略是学术界中首次提出利用最大熵来进行域混淆的方法。总结来看,本文的主要贡献包括以下几个部分:第一,本文给出了一种欠标注场景下的浅层迁移学习算法。本文利用图嵌入和矩匹配,在子空间上对齐了源域和目标域。同时,本文利用聚类算法和结构风险最小化,创新性地提出了两种更新伪标签的方式。本文提出的浅层迁移算法框架在单源域适配和多源域适配问题上都取得了较好地结果。第二,本文给出了一种欠标注场景下的深度迁移学习算法。本文综合利用了条件概率、对抗学习,以深度残差网络为骨架,提出了一种基于熵优化的深度迁移框架。相比于其他的对抗域适配算法,本文创新性地提出了两组对抗。除了传统的生成器和判别器的对抗,本文引入了最大最小熵的对抗。本文提出的框架可以适用于各种骨干网络,计算简单,具有较好的兼容性。第三,本文给出了一种基于迁移思想的视觉追踪算法。本文将传统的视觉追踪问题转化为了一个模态迁移问题,创新性地提出将历史帧作为源域,未来帧作为目标域。并且通过控制训练集的规模,保证了追踪的准确性和较低的时间复杂度。综合来看,本文提出了浅层算法和深层算法,并讨论了算法在实际问题上的应用,可以说涵盖了欠标注场景下可能出现的各种问题。实验也证明本文提出算法的有效性。
其他文献
在线学习(Online Learning)因能够克服离线机器学习数据成本高,训练开销大,模型扩展性不好等的缺点近年来受到了广泛的关注。虽然已经有一些在线学习算法被提出,但因受限于在线学习无法反复精心训练的学习模式,通常在线模型的精度有限。为了满足实际应用中更高精度的要求,有学者提出将迁移学习(Transfer Learning)的思想结合到在线学习中提出新的在线迁移学习(Online Transf
增生性玻璃体视网膜病变(Proliferative Vitreoretinopathy,PVR)是一种致盲性眼底疾病,常见于孔源性视网膜脱离(Rhegmatogenous retinal detachment,RRD)、眼外伤和内眼手术后。PVR被认为是视网膜过度损伤修复的过程,其特点是在玻璃体腔和视网膜周围形成了可收缩的纤维增殖膜,目前,手术仍是PVR的主要治疗方法,尽管手术技术在不断提高,但P
作为人工智能的一个重要和具有代表性的分支,机器学习致力于建立能够识别数据中模式和关系的算法模型。它可以分为监督学习、半监督学习、无监督学习和强化学习。近年来,强化学习已成为最热门的研究领域之一,也是人工智能超越人类水平的关键技术。它已被应用于人们生活中的许多领域,如自动驾驶、计算机游戏和自然语言处理。强化学习算法的改进不仅能直接改变到人们的生活,而且对人工智能未来的发展有着深远的影响。同时,由于无
二氧化钒(VO2)是一种金属-绝缘体转变(Metal-Insulator transition,MIT)材料,当温度到达68℃附近时,会发生由室温单斜绝缘相(M1)转变为高温金红石金属相(R)的一级相变。VO2的相变伴随着电学和光学等物理性质的突然变化,由于VO2优良的相变特性,使其在开关调制、光电器件、智能窗口、传感器、驱动器等方面的应用得到了广泛的研究。然而,对于实际的应用而言,VO2薄膜亟待
众多实证研究表明,家庭社会经济地位是影响儿童汉语阅读能力发展的重要因素,然而已有研究结论存在分歧。采用元分析的方法,筛选出发表于2002-2022年的48篇实证研究并进行效应值统计,主效应检验结果表明,家庭社会经济地位综合指标及其各单项指标与儿童汉语阅读能力均显著相关。学段的调节效应检验结果表明,与小学阶段相比,学前阶段儿童父母的职业和家庭收入与儿童汉语阅读能力的相关关系更强;汉语阅读能力测量类型
热带太平洋地区在年际和年代际时间尺度上都存在显著的气候变率。当前,对年际厄尔尼诺与南方涛动(El Ni(?)o-Southern Oscillation,ENSO)现象的认识和理解为短期气候预测业务奠定了坚实的物理基础;然而,以往对年代际变率的研究大多着眼于热带外少数几个统计主导模态,对热带区域的关注度较少。热带太平洋年代际变率作为太平洋年代际变率的重要组成部分,其关键时空特征及主导物理过程目前并
良好的溶解度是口服固体制剂药效发挥的前提条件。目前,40%的上市药物和75%的候选药物是难溶性药物,这限制了它们的口服吸收和治疗效果。因此,如何改善难溶性药物的溶解度是药物研发人员面临的主要问题。药物共晶通过引入共晶配体,修饰药物的晶体结构以改善其理化性质,具有结构可调、性质可控的优势而被广泛应用于制药领域。本文通过共晶技术提高了难溶性药物阿昔替尼的溶解度;通过制备吉非替尼和中药活性成分药物-药物
低温等离子体由于高电子温度,低气体温度的特性,在医疗手术、杀菌消毒、伤口愈合及材料表面处理等领域被广泛研究。微波等离子体相比传统的高压直流或射频等离子体具有更好的安全性,更高的电子密度等优异性能,受到越来越多的重视。特别是固态微波器件的发展,使得低温微波等离子体系统可以大幅缩小体积,实现可手持,从而进一步扩展了低温微波等离子体系统的应用前景。低温微波等离子体系统,主要包括了微波源及传输线,阻抗调配
随着脉宽调制(Pulse Width Modulation PWM,)技术的广泛应用,电机驱动系统的传导与辐射电磁干扰更加明显。在电子设备密集的封闭空间,大功率电机产生的高强度电磁辐射会严重影响敏感元器件的电气性能,降低设备可靠性。为了定量评估电机驱动系统的辐射危害,需要准确预测系统电磁辐射强度,以采取整改措施对辐射干扰进行有效抑制。为此,本文开展了PWM电机驱动系统的辐射干扰预测方法研究,具体内
光学频率梳是指一系列离散的、等间隔分布的且具有稳定相位关系的频率分量组成的光谱。自2005年获得诺贝尔物理学奖以来,其前所未有的测量能力为精密测量领域带来了变革性的技术革新,在天文学、微波光子学、精密光谱学、原子钟、分子指纹测量、通信和传感等领域展现出了巨大的应用潜力。光学频率梳主要包含光纤激光频率梳、电光频率梳和基于微腔的克尔频率梳。与激光频率梳和电光频率梳需要额外的饱和吸收体或电光调制器不同,