基于小样本的图像分割方法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:zjpjwxd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像分割是计算机视觉的基础任务,是实现机器智能和场景理解的前提,其进展对于地理信息系统,无人车驾驶,医疗影像分析和机器人等领域的发展具有重要的意义。现有的分割模型存在两个难题:1)严重依赖大量的人工标注数据;2)对新类别的分割能力不足。相关难题限制了分割模型在实际场景中的运用。针对上述问题,小样本图像分割任务被提出,其在已知类别数据上学习具有泛化能力的分割模型,并利用少量的标注样本(支持图像)实现未知类别图像(查询图像)的准确分割。现有方法基于类内信息挖掘构建分割模型,致力于支持图像对查询图像的指导分割,其存在以下三个问题:1)现有方法基于全局特征向量构建指导模型,忽略了对图像分割极其关键的局部细节信息。2)现有方法仅考虑支持图像到查询图像的单向指导,忽略了查询图像到支持图像的反向指导,而支持图像与查询图像之间的双向指导能够挖掘更加丰富的类内共性信息。3)现有方法局限于针对少量标注样本的类内信息挖掘,而少量标注样本中包含的先验信息有限,无法为查询图像的分割提供充分的指导信息。针对上述问题,本文展开了一系列研究,具体如下:1)针对全局特征忽略局部细节信息的问题,本文提出基于局部特征相似矩阵的指导模型,能够有效传播支持图像与查询图像间的局部关联信息。具体地,本文构建支持掩模和查询掩模间的关联矩阵,并利用局部特征相似性估计关联矩阵,进而将指导信息的传播过程建模为关系矩阵的估计过程,其m Io U指标相对于南洋理工大学和斯坦福大学联合提出的模型PGNet提升了1.1%。2)针对单向指导无法充分挖掘类内信息的问题,本文利用双向指导策略构建了基于掩模关联矩阵估计的双向指导模型,其更加有效地挖掘类内图像间的共性信息。基于提出的双向指导模型,本文构建了基于类内双向指导的小样本图像分割模型,在不增加模型推理速度的基础上m Io U指标提升了1.2%。3)针对类内信息挖掘模型提供指导信息不足的问题,本文提出基于类间关联的类别表示模型,利用类激活解析未知类别图像与已知类别图像间的语义相似性,实现了类间关联信息的挖掘,改进了少量标注样本先验信息不足的问题。
其他文献
随着无线通信的迅速发展,越来越多的通信系统产生多优先级通信量,不同的优先级通信量对时延和损耗率有不同的要求。在战术目标网络技术(TTNT)系统中通过统计优先级的多址接入(SPMA)协议来实现通信量的多优先级,该协议位于数据链路层,在数据链中担任非常重要的角色。作为一种新的多址接入协议,SPMA协议需要支持多个不同类别的服务,为高优先级的脉冲数据包提供更低的时延和更高的传输成功率。本文对统计优先多址
近年来,为了使信道容量和频谱利用率增大,且为了使通信网络的可靠性与安全性更高,轨道角动量(Orbital Angular Momentum,简称OAM)技术被引入。目前,采用阵列天线激发涡旋电磁波的方法得到广泛研究,但由于阵列中移相器件成本较高,不利于大量生产与制造。因此为了降低产生涡旋电磁波的相控阵的成本,对于涡旋电磁波的相关理论仍然值得深入研究。本文首先以天线阵列基本理论为基础,详细分析并研究
为了应对城市生活垃圾产量的快速增加,各地兴建了大量的垃圾填埋场,由垃圾大量堆积产生渗滤液的行为,严重污染了垃圾填埋场近区域内。针对这种变化,以及考虑到渗滤液产生的污染物中涉及对人类健康有着严重危害的多环芳烃,本文通过环境多介质模型(EMMS)研究了垃圾填埋场中释放的多环芳烃在近区域内的浓度时空分布及其特征,通过Python技术实现了多环芳烃在各环境模块中的浓度随时间的变化,并最终基于EMMS模型的
断裂是一种失效模式,在各种工程领域中,经常发生灾难性的破坏事故,呈现平面或曲面上裂纹沿曲线或曲折路径扩展。由于问题的复杂性,对其研究缺乏理论模型,实验成本高,计算规模大,具有相当大的挑战性。扩展有限元是为了解决此类问题而提出的一种新的计算方法,对于复杂形状、沿任意路径扩展的裂纹尤其具有明显的精确性与高效性。在二维扩展有限元计算格式的基础上,本文建立了新的基于CB壳单元的壳体扩展有限元,并编制了二维
近年来,基于卷积神经网络的方法显著提高了大量计算机视觉任务的准确率。其中,基于深度学习的动作行为识别和定位也取得了巨大进展,该任务的目标是确定未剪辑视频中动作实例的开始和结束时间以及对应的类别标签,其中所包含的时域行为检索步骤是视频动作理解中一个有希望和有挑战性的任务,它要求使用相对较少的推荐区域来检索包含高召回率和高重叠率的真实动作实例。当前的时域行为检索方法通常假设训练和测试数据来自相同的分布
随着通信系统的不断发展,电子器件带宽和速率有限且噪声干扰较大等问题逐渐显现出来。光子器件有着较大的通信带宽、较快的处理速度和较好的抗干扰性能,但是由于衍射极限的存在,导致传统光子器件的体积相对较大,无法在芯片中进行集成。表面等离子体激元可以把电磁场强烈地束缚在金属表面,突破衍射极限,因此在纳米光子领域具有重要应用。本文基于表面等离子体激元在单一金属膜上设计了新型的表面等离子体光调制器,通过多芯光纤
由温度梯度导致的微观不稳定性对解释磁约束等离子体中的反常输运现象有着重要的意义。其中,高比压下等离子体形状对于温度梯度模的研究是当前等离子体理论研究中的前沿课题之一。本文利用回旋动理学方法,采用局域平衡模型,在已有圆截面下的特征模积分方程基础上发展了一套适用于研究有限环径比、非圆截面、高比压等离子体中温度梯度模的特征模积分方程,并升级了计算代码。此模型中包含了磁场曲率和梯度漂移、平行渡越效应、有限
从上个世纪九十年代中期发展起来的基于内参考点的X射线荧光全息术是将X射线探测技术和全息三维成像技术相结合的新的观测微观结构的方法。不同于传统的全息成像手段,它直接利用固体中的原子作为光源或者探针,所以能够达到原子尺度的分辨水平,能够直接获得固体中原子的三维结构。这将为物理、化学、生物学以及材料科学的发展和高科技制造业提供一种新的显微成像手段。因而,对X射线荧光全息成像技术的理论和方法研究具有重要的
体外分子水平研究对于了解DNA和蛋白质的最基本的结构及功能具有重要的意义,而要更全面地理解生命过程的本质及其生理和病理机制,则有必要扩展到细胞、组织乃至个体水平上。随着功能基因组研究的深入,细胞水平的分子研究已成为生物医学研究的热点之一,随之要求发展不同的研究方法。实现细胞水平上无标记、高灵敏、实时的分子检测是该领域面临的一个主要挑战,本论文将SPR传感与细胞上的分子检测相结合,力求摸索一种新方法
近年来房地产领域“黑天鹅”频出,对我国区域金融稳定造成了较大影响。基于2015—2019年间省级层面的季度数据,选择八大金融风险领域合成了我国31个省(自治区、直辖市)的区域金融稳定指数,并通过运用系统GMM模型与空间杜宾模型,测量房价波动对中国区域金融稳定的影响及其空间效应。研究表明,房价波动会导致区域金融风险增加,并且在宽松的货币环境下会增强影响的显著性;由于不同区域之间地理环境和社会经济存在