多样化场景中的半监督视频目标分割算法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:keximi9
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频目标分割是场景理解的基础,对计算机视觉中多个领域的研究具有重要意义,包括动作识别、自动驾驶汽车、目标跟踪等。半监督的视频目标分割方法根据给定的第一帧掩码标注,自动地分割后续视频帧中的目标,需要的人工干预少。近年来卷积神经网络的发展和大型数据集的出现使视频目标分割的精度得到了显著提升。然而大部分精度较高的半监督算法依赖于在线微调过程,增加了额外的时间代价。由于视频场景多样化,一方面目标在表观和尺度上会随时间发生改变,另一方面当视频中存在多个相似物体时,容易引起分割误差。除此之外,目标被遮挡或者暂时超出视野时,一些过于依赖上一帧分割结果的方法可能丢失目标。本文针对该领域的难点和现有方法的缺点,提出了两种不同思路的半监督视频目标分割算法。针对目标表观和尺度变化较大的场景以及存在相似性物体的场景,本文提出了多特征指导的视频目标分割算法。利用第一帧、前一帧和当前帧目标的表观信息构建全局表观匹配特征和局部表观匹配特征,捕获视频中目标的变化。同时估计像素到目标中心的偏移量构建目标中心图,区分不同位置的目标,特别是相似性目标。这三种信息与特征提取网络得到的主干特征进行组合,指导模型实现精确的视频目标分割。针对现有算法过度依赖上一帧分割结果,导致在部分场景下出现目标丢失的问题,本文提出了抗丢失的视频目标分割算法,将实例分割模型Mask R-CNN扩展到视频目标分割任务中。首先将Mask R-CNN的N个实例类别映射为1个前景类,将其调整为语义类别无关的实例分割模型,Mask R-CNN的输出作为候选目标。其次,对Mask R-CNN添加一个额外的嵌入向量分支,提取候选目标的256维特征向量。在此基础上,本文设计了目标匹配和模板库更新策略,建立视频帧之间的关联,通过计算候选目标与模板的特征向量相似度,在当前帧的候选目标中找到与模板最相似的目标,并得到其分割掩码。该方法只需给定第一帧待分割目标的边界框而不是精确的掩码标注,就可以实现指定目标的分割,并且独立地处理每一个视频帧,不受之前分割结果的影响。本文在DAVIS数据集上对两种算法进行了评估,与无需在线微调的算法相比,本文的两种算法精度最高。与耗时严重的在线微调类算法相比,本文算法在精度和速度之间有着更好的权衡,同时有效地解决了多样化场景中的视频目标分割难点。
其他文献
土地是农业的根本,农用地的数量、质量、利用情况及其空间分布等信息是构成农业信息资源的基本要素和重要基础。对农用地数据进行精确采集和动态跟踪管理,是实现现代农业生产
随着2019年《政府信息公开条例》的修订,过程性信息正式作为政府信息存在的形态之一,被纳入“可以不予公开”的范围之中。但是在目前的法律制度中,过程性信息的概念界定模糊,公开与否的认定标准不一,对信息公开的具体实践造成困扰。因此,对过程性信息的豁免公开作出合理认定有着重要意义。合理构建过程性信息豁免公开的认定体系,首先需要明确过程性信息豁免公开的理论基础。为了保障行政机关内部坦诚交流、保证行政效率与
信息技术的发展给人们带来了不少好处和便利,但是信息安全和版权保护问题同时也变得益发突出。数字印刷品作为信息交互的重要方式,其版权保护和信息安全也越来越受到重视。数
本文主要进行了两项工作:一是对中心-外围模型(Center-Periphery Model,一般简称C-P模型)进行推广并建立理论模型。本文在标准C-P模型中引入了政府部门,进而探究在农业部门,
随着互联网信息规模的急速膨胀,对大规模数据进行快速处理、学习和挖掘的需求也变得越来越多。在许多真实应用比如社交网络中,具有图结构的数据的规模也在不断变大。因此,基于图计算的大规模分布式(并行)机器学习框架受到了越来越多的关注。一方面,许多数据间的依赖关系可以自然地用图来进行建模,而且许多数据本身就具有图或网络的结构,例如社交网络数据;另一方面,许多机器学习和数据挖掘的算法也可以用图或网络来建模。在
常压容器作为化工产品生产、存储及运输的常用设备,具有广泛的应用需求。危化产品常压容器罐底经长期使用后极易出现腐蚀减薄、电化学腐蚀等结构性缺陷,极大增加了化工产业的
随着移动互联网的发展,越来越多的用户通过移动终端,使用数据流量观看视频。用户在观看移动视频的同时,产生了大量的行为数据。从用户的行为数据中分析用户的属性信息,挖掘用
随着人工智能技术的飞速发展,人工智能时代即将到来,要进入这一崭新时代,就要使得机器能够完美地理解人类的动作,因此对人体动作识别方面的研究就必不可少。人体姿态估计作为
创新和创业活动是提升现代经济质量的重要途径。但创业者资源少、存活率低的问题仍未得到有效解决。我国创业活动逐渐兴起,但面临严峻挑战。在分析创业者融资方式的过程中,文
新中国成立以后,妇女解放事业迅速发展,妇女地位不断提高,但形式上的平等不代表事实上的平等,新的历史时期仍然存在着妇女就业、政治、教育等权利不平等。研究陈独秀的妇女解