【摘 要】
:
近年来,随着互联网和信息技术的不断进步,视频图像等数据作为网络中信息传播的主要介质,其数量呈现跨越式的增长,对社会的各个领域产生着深刻的影响。视频目标分割技术作为视频处理的关键技术之一,在自动驾驶、智能监控、三维重构以及视频剪辑等领域中有着广泛的作用。无监督视频目标分割任务是在缺乏分割目标先验知识的情况下,自动分割视频序列中的主要前景目标,可以节省大量的人力财力,是当前研究的热点及难点之一。本文重
【基金项目】
:
国家自然科学基金(51827813, 61472029); 北京市教育委员会科技重大项目(KJZD20191000402);
论文部分内容阅读
近年来,随着互联网和信息技术的不断进步,视频图像等数据作为网络中信息传播的主要介质,其数量呈现跨越式的增长,对社会的各个领域产生着深刻的影响。视频目标分割技术作为视频处理的关键技术之一,在自动驾驶、智能监控、三维重构以及视频剪辑等领域中有着广泛的作用。无监督视频目标分割任务是在缺乏分割目标先验知识的情况下,自动分割视频序列中的主要前景目标,可以节省大量的人力财力,是当前研究的热点及难点之一。本文重点研究如何充分利用运动和几何信息改善无监督视频目标分割的性能。首先,研究结合前帧传播的双向光流运动优化策略以提高复杂场景中的分割精度,然后从双目的角度研究如何将场景几何信息用于无监督视频目标分割,最后将两者结合研究了基于运动引导的无监督双目视频目标分割算法。本文的主要工作如下:(1)提出了基于运动引导的无监督视频目标分割算法MGNet。由于视频场景的复杂性,单帧中的显著运动分割并不总是可靠的。基于此,本文提出了结合前帧传播的双向光流运动优化策略,通过网络对前后向光流以及视频序列前一帧与运动模式之间的关系进行学习,减少分割误差。同时,提出了一种运动引导的选择性融合策略,利用实例分割网络来生成对象建议和运动分支得到的结果进行融合,去除错误的运动背景信息,进一步提高分割结果的准确性。在DAVIS-2016、Seg Trackv2数据集上进行了消融实验和对比实验,验证了所提出的算法MGNet的有效性。其中在DAVIS-2016上的分割区域相似度J的均值达到77.5%,优于UOVOS、MPNet、LVO、Fseg等主流同类型方法。(2)提出了一个新颖的基于视差约束的无监督双目视频目标分割算法StereoNet。针对现有的单目视频目标分割网络无法利用场景几何信息的问题,提出了一个端到端的双目无监督视频目标分割网络,该网络从双目视频图像序列中提取场景几何信息,将双目对应帧的视差信息与多尺度的外观特征融合,从而提高前景目标和背景的分类预测准确度。为了验证其有效性,采用视图合成技术对当前主流的单目视频目标分割公开数据集进行了计算处理,构建了用于双目视频目标分割的数据集DAVIS-2016-stereo、Video SD-stereo。提出的算法Stereo Net在构建的双目视频目标分割数据集上进行了消融实验和对比实验,其中在DAVIS-2016-stereo上分割区域相似度J的均值相比基准网络提高了3.7%,轮廓精确度的均值相比基准网络提高了4.0%。(3)提出了基于运动引导的无监督双目视频目标分割算法Stereo MNet。将第一个研究工作的成果引入无监督双目视频目标分割网络Stereo Net中,设计了基于运动引导的无监督双目视频目标分割网络Stereo MNet,在视差约束的基础上引入运动信息,去除错误的背景分割,进一步提高了无监督双目视频目标分割算法的准确性。提出的算法Stereo MNet在DAVIS-2016-stereo数据集上进行了实验,分割区域相似度J的均值达到75.5%。本文包含图20幅,表9个,参考文献47篇。
其他文献
机械系统的运行好坏与滚动轴承的运行工况息息相关,滚动轴承作为旋转机械中的重要支撑部件,对其进行早期的故障模式识别是机械系统可靠性分析的关键工作。在现有的模型识别方法中,支持向量机(Support Vector Machine,SVM)的数学理论更为完备,在故障诊断领域的应用也较为成熟。因此本文就SVM的数学理论展开深入研究,学习借鉴SVM的最大边距思想,在此基础上引入附权重优化的0-1百分比损失函
随着我国城市轨道交通线网规模的不断扩大,轨道交通所承担的客流日益增加,客流分布状态愈加复杂,既有单线运营模式及“浅层次”网络运营模式下的单一化的行车组织手段已难以满足乘客和企业的需求,乘客出行体验差、换乘站客流组织难度大等问题日益凸显。互联互通为多样化、灵活化的行车组织手段创造了实施条件,有望成为解决上述问题的途径,而多样化、灵活化的行车组织对企业的运输组织方案提出了更高的要求。列车开行方案是企业
随着化石能源的日益枯竭以及环境问题的逐渐加剧,建设高比例可再生能源的能源系统势在必行。然而,高比例可再生能源的并网会使电力系统的源荷不匹配问题更加突出,这要求供能系统具有更强的能量调节能力。综合能源系统可以实现不同形式能量的耦合互补与高效利用,其中的能量储存部分对于改善能量的时间分布起到了重要作用。但是,在综合能源系统中存在多种能量形式的储能设备,如何协调优化配置多种储能以实现能量的最优供需平衡,
随着移动通信技术的快速发展,地面通信技术已经逐渐不能满足人们对无线通信的要求,因此发展卫星通信和卫星网络是下一代网络建设中非常重要的一部分。卫星网络与地面网络相比有很多优点,比如通信范围大、通信距离远、通信容量大、覆盖范围广等。但是,卫星设备自身存在存储和计算资源受限的问题,加之卫星一直绕地球不停的高速运动,致使卫星网络拓扑结构的变化较为频繁,从而使得卫星网络路由相对于地面路由来说更为困难。基于以
自《北京城市总体规划(2016年—2035年)》发布以来,持续推动减量发展,积极探索存量更新路径,成为北京城市发展建设的主流趋势。社区作为城市空间的基本组成单元与居民生活空间,是城市存量发展的建设的重要对象。在社区更新治理中,社区型街道空间不仅仅只是是城市中的线性公共空间,同时兼具着交通、商业、开展公共活动的多重职能,是贴近居民日常出行和生活服务的重要空间载体。而当前的社区街道空间与居民快速发展的
随着我国下一代列控系统的深入研究,车车通信、互联互通的新模式对列车测速系统的结果提出了更高的要求。多源信息融合测速方式具有高可靠性、强冗余性、高精度的特点,是国内外列车测速领域的重点研究方向。目前列车使用单一测速技术具有局限性,导致列车测速准确性较低,因此本文在研究对比列车测速的不同方式后,提出了不依靠轨旁设备的多传感器测速方案,使用OPG脉冲测速传感器、多普勒雷达测速传感器和加速度计的组合测速方
运力评估是所有铁路系统的一个重要话题,因为铁路系统的运营能力不但受现有的基建设施的影响,而且在很大程度上也受基建设施使用情况的影响。因此,运力评估为如何最佳利用现有基础设施提供了有价值的信息。运力评估还清楚地揭示了在现有可用容量被用尽的情况下,(如需要)在何处投资改善网络容量。面对快速增长的需求,世界上多数铁路网已经实现最大运力利用率,铁路管理者必须找到高效、经济的方法来提高运力。本研究旨在评估和
计算机视觉(Computer Vision,CV)领域有四大关键任务:图像检测、图像识别、图像分割以及图像生成,本文主要聚焦于图像生成分支。随着人工智能逐渐发展至认知阶段,生成已成为人工智能发展的关键技术。近年来,图像修复和翻译技术由于具有广泛的应用价值而备受国内外学者的关注。图像修复旨在根据图像中的已知信息恢复出丢失区域的内容,从而使图像在整体和局部区域均保持真实合理。图像翻译旨在将一种图像表征
桥梁作为我国铁路、公路基础设施的主要组成部分之一,在服役过程中的安全性问题受到了众多研究学者的关注。桥梁结构模态参数作为桥梁动力性能的重要指标,对桥梁结构数值模型更新、损伤检测及结构健康监测(Structural Health Monitoring,简称SHM)起着至关重要的作用。传统的桥梁检测通常采用人工上桥布置仪器的方式,该方法需消耗大量的人力、物力,且具有一定程度的危险性。针对这一现状,本文