基于语义引导的零样本图像分类

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:lsui321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高性能的有监督模型需要获取大量的高质量标注数据,且模型只能识别训练中见过的类别。零样本学习将现有模型学习到的知识迁移到未见类别上,解决了监督学习缺少标注数据和模型复用性低的困境。由于缺少未见类图像,零样本学习需要引入额外的语义信息监督才能正确识别未见类,但这同时也导致了域漂移和模态间隔问题。本文聚焦零样本学习中的域漂移和模态间隔问题,提出了两种基于语义引导的零样本学习方法,具体研究内容如下:(1)针对已见类相关属性学习泛化性差引起的域漂移问题,提出了基于判别性属性空间的零样本图像分类方法。算法提出了两种有效属性增强策略和一种自适应边界损失增强未见类属性的判别性;在属性引导数据增强模块中引入未见类属性作为重构目标,加权组合已见类视觉特征扩充可训练集合,强化模型对未见类相关属性学习;在相关样本重训练模块中,测试阶段选择和未见类样本特征相近的已见类样本微调网络,提高未见类相关属性在模型预测时的权重;在自适应边界损失函数中,通过优化调整模型的判别性和迁移性提高了模型的泛化性,进而提高未见类属性空间的判别性。所提方法在多个公开数据集上验证了有效性和先进性。(2)针对语义嵌入和视觉特征之间存在的模态间隔问题,提出了基于视觉语义特征解耦的零样本图像分类方法。该方法将图像信息解耦为视觉和语义两种模态信息,充分挖掘视觉信息与语义信息在各自模态的表征能力。首先,使用结构相同、参数不共享的特征提取器分别提取视觉特征和语义特征;其次,通过属性修正模块加权融合已见类的语义特征和属性标签获得修正属性标签,将修正属性作为标签监督模型生成更具判别性的视觉特征;最后,测试阶段丢弃语义特征中的视觉信息和视觉特征中的语义信息,剩下的信息融合得到更具判别性的混合特征。所提方法在多个数据集上达到了目前最好的分类精度。
其他文献
目前,可在室内多项应用中看到视觉同步定位与地图构建(Simultaneous Localization And Mapping,SLAM)技术的身影,比如自动送餐车、AR和VR、仓储协作机器人等。但室内定位常受低纹理、光照、结构重复等因素的挑战,这将导致在相机自运动估计过程中难以正常进行特征匹配,以至于降低定位的精度和所构建地图的准确性。除此之外,SLAM技术构建的地图常由稀疏点构成,不利于后续高
学位
恶劣环境下的底层视觉旨在解决因不利天气,遮挡模糊等因素造成的图像退化问题,是支撑真实场景下语义感知的关键技术,广泛应用于无人驾驶,交通安防,工业生产等领域。其中图像融合与视觉增强是解决恶劣环境下环境感知的主流手段。然而现有方案面临两方面挑战:(1)提升图像融合计算效率:基于深度学习的融合方案依赖工程化经验,不可避免地引起结构冗余等问题导致计算效率低,缺乏对模态特征针对性处理以致融合性能不佳;(2)
学位
黄河三角洲地区滨海盐碱土地面积广阔,且盐碱含量高、土壤养分低,严重影响了该区域内农业尤其是经济作物的种植业发展。施用微生物制剂是盐碱地改良的有效措施,而木霉可以改善土壤环境、促进植物生长,且环境友好,是制备菌肥菌剂的理想菌株。中华枸杞(Lycium chinense)耐盐耐涝能力强,经济价值高,适宜在滨海盐碱地推广种植。研究木霉对枸杞抗盐能力的影响机制,可促进枸杞在盐渍土壤中生存生长,为滨海盐碱地
学位
口岸病原微生物多指入境口岸大宗货物、压舱水、动物源性样本、土壤、人员携带等样本中的病原微生物。近年来,传染病的暴发越发频繁,国家间贸易往来的日益增加给传染病的传播提供了途径,给生命健康和财产安全带来极大的威胁。口岸作为防控病原微生物的第一道关卡,做好口岸检疫工作尤为重要,但是目前口岸检疫工作存在以下问题:一方面缺少口岸病原微生物相关的数据库,大量重要监测数据整合率低,浪费数据资源,另一方面全球土壤
学位
受复杂照明条件以及拍摄设备的影响,从现实环境中捕获的低光图像往往呈现出亮度偏暗,对比度偏弱,噪声较多,边缘信息较差,细节缺失的特点,严重影响了图像的可视性。提高低光图像的质量在许多图像处理和多媒体应用中扮演着非常重要的角色。光照估计一直是低光图像增强问题中的一大难点。很多现有深度学习方法缺乏对光照的有效先验约束,导致估计出的光照无法反应场景的真实结构,进而影响了恢复结果的质量。此外,一些模型采用“
学位
大部分深度领域自适应方法度量的是源域和目标域的整体数据分布,但是样本之间不同的特征表征表明了样本在数据分布度量中的贡献是不同的。正是缺少了对样本差异性的衡量,才会导致源域和目标域的整体数据分布无法进行细粒度的对齐。另外,无论是整体分布对齐还是细粒度对齐都是针对图片整体特征,但整体特征中存在的不同干扰特征也是样本差异性的表现之一,如:杂乱背景。在如此情况下,强制对齐样本的整体特征必然会导致严重的负面
学位
浮游原生生物作为浮游真核微生物的主要组成成分,具有高度的物种多样性,同时也是海洋生产力的主要贡献者和生源要素循环的重要驱动者之一。纤毛虫作为特化程度最高的原生生物,能够快速适应周围环境的变化,并在浮游生态系统中发挥着独特的生态功能。近岸水体与人类活动密切相关,其中的原生生物会受到人为因素和自然因素的双重影响,从而表现出一定的群落组成和时空分布模式。然而莱州湾近岸水体的原生生物多样性以及群落组成和季
学位
工业革命以来,随着全球经济蓬勃发展以及农业人口数量的日益扩大,人们对化肥的过度利用及不合理的耕作方式使土壤盐渍化程度越来越严重。土壤盐渍化已成为影响作物产量、品质以及制约农业发展的重要因素之一。藜麦(Chenopodium quinoa Willd.)具有独特的营养价值且具有很强的抗逆性与适应性,在土壤盐渍化加剧这一背景下使得其藜麦现已作为一种盐生植物模型被广泛研究,随着藜麦高质量基因组的发布,越
学位
干旱作为限制植物生长发育最重要的非生物胁迫之一,通常会引起植物生长发育、形态结构、生理生化、基因表达等一系列的变化,其对植物造成的生长减缓,远远高于盐、高温等其他非生物胁迫。北沙参为伞形科珊瑚菜属珊瑚菜(Glehnia littoralis Fr.Schmidt ex Miq.)的干燥根,属临床常用中药,国内多分布于山东、内蒙古、河北等地。虽然珊瑚菜的药用价值很高,但是野生资源衰竭,被列为国家二级
学位
随着三维打印技术的广泛应用,打印模型变得更加复杂和多样化,对打印精度的要求也逐渐提高。作为三维打印流程中的重要部分,路径规划的精度影响着整体打印精度。复杂壳体模型包含大量难以规划的复杂几何结构。由于传统的路径规划方法及打印过程无法满足复杂几何结构的高精度打印要求,复杂壳体模型打印结果质量较差、精度较低的问题需要有效解决。针对复杂几何结构的传统路径规划中存在的局部路径质量问题,本文提出一种自适应路径
学位