联合时空特征的无监督视频目标分割算法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:bye_bye
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无监督视频目标分割要求算法在不给出前景目标任何标注信息的情况下自动地将整个视频序列中最显著的、最关键的目标进行分割,由于其应用前景广阔而引起了研究人员的广泛关注。视频内容的丰富性以及场景的复杂性,导致视频中的前景目标之间存在着遮挡、快速运动、剧烈形变、背景混淆等问题,给准确、稳定的无监督视频目标分割任务带来了严峻的挑战。最近几年,互联网、大数据、5G技术迅速发展,视频数据量激增,利用人工智能技术实现自动分析海量视频将成为主流的趋势。由于视频数据具有丰富的时序和空间特征,充分且有效地利用视频中的时空特征将有助于应对无监督视频目标分割任务中存在的挑战。因此,研究联合时空特征的无监督视频目标分割算法具有重要的研究价值和理论意义。本文针对如何在无监督视频目标分割模型中充分利用视频数据中的时空特征问题,分别从光流法和非光流法两个技术路线开展研究。对于基于光流法的方法,重点从双向运动线索优化和多层次特征融合策略两个角度进行。对于端到端的无监督视频目标分割(非光流法),重点研究从视频数据本身角度出发,充分挖掘视频帧之间的时空关联。本文的主要研究工作总结如下:(1)研究了基于双向运动线索优化的无监督视频目标分割算法。单向光流不能充分表示待分割目标的运动模式,导致运动估计的准确性不够,从而影响复杂运动模式下的视频目标分割精度。基于此,本文引入了双向光流特征,提出了一个运动线索优化模块,并集成在一个运动显著性分割网络中,充分利用前景目标的运动线索,提高了分割精度。在DAVIS-2016数据集上进行了实验,验证了所提算法的有效性。实验结果表明,相比于单向光流,本文提出的运动线索优化模块将基准网络分割精度提高了 13.6%。(2)研究了基于特征聚合及运动优化的无监督视频目标分割算法。为了充分结合视频序列的时空特征,结合第一个研究内容中提出的运动线索优化模块,提出了一个基于多层次特征聚合与运动线索优化的双流协同增强网络,该网络为一个双流网络,由外观流和运动流构成。针对网络中不同层次的特征对分割性能有不同的贡献,设计了一个外观显著性分割网络,包含一个上下文注意力模块和多层次特征聚合模块,通过有效地整合不同层次特征以提高对前景目标的外观特征表达能力。双流协同增强网络将外观显著性与优化的运动显著性特征有效结合,以协同增强的方式提高整体网络分割的准确性。在DAVIS-2016、SegTrack-v2、VideoSD数据集上进行了对比实验,验证了算法的有效性。在DAVIS-2016数据集上分割精度达到79.6%,超越UOVOS、FSEG、LVO等主流同类型算法。(3)研究了基于时空信息自适应选择的无监督视频目标分割算法。由于基于光流法的无监督视频目标分割需借助预先计算的光流信息,无法进行端到端的预测。为了充分挖掘视频序列中丰富的帧间时空联系,提出了一个无需借助任何外部辅助信息并且可以进行端到端分割的时空特征自适应选择网络,通过将视频中多帧构建一个存储区,然后自适应选择与当前帧分割最有利的时空特征,增强了当前帧特征的表达能力。本文算法在DAVIS-2016、SegTrack-v2、VideoSD主流数据集上进行了丰富的消融实验和对比实验,验证了本文算法的有效性,在DAVIS-2016数据集上分割精度达到了 77.6%,优于大部分基于光流的方法。本文包含图37幅,表12个,参考文献72篇。
其他文献
高镍层状正极材料因具有较高的比容量和较低的成本等优点,成为备受关注的锂离子电池正极材料之一,尤其低钴或无钴高镍正极材料成为新的研究方向。本文以高温固相法制备了Li Ni0.95Mn0.05O2(NM95)材料,从优化工艺、掺杂改性、包覆改性三个方面进行研究,主要内容如下:(1)采用高温固相法,以Ni0.95Mn0.05(OH)2和Li2CO3为原料制备了NM95正极材料。在锂配比量Li/(Ni+M
随着我国办公信息化的发展,各大企业的经营模式也随着社会与科技的发展逐步改变。在2012年,营改增逐渐在全国进行推展,将企业的营业税改成增值税,这样的政策为各个中小企业减少了重复征税,降低了企业的税务负担。所以对于一个企业来说增值税管理的规范化是十分重要的。在大数据盛行的背景下,将大数据技术融入到纳税管理系统是一个必然的趋势。大数据背景下的纳税申报系统除了对进项销项和增值税三者的管理之外,还需要实现
高速列车采用铝合金车体以实现其轻量化,车体材料采用A7N01铝合金。搅拌摩擦焊是车体直长焊缝焊接的有效方法。搅拌摩擦焊接头腐蚀是应用中需要解决的问题。本文以A7N01搅拌摩擦焊接头为研究对象,提出了采用扫描式微弧氧化技术进行接头表面改性以提高接头耐腐蚀性能的技术手段,通过试验与仿真技术相结合的方法,从扫描式微弧氧化喷射系统设计、微弧氧化处理工艺和陶瓷层性能测试三个方面开展了研究。本文主要研究内容及
移动通信技术经过了长时间的进步,从1G的模拟通信时代发展到5G全数字、全连接时代。5G网络的“高速率、大容量、低延时高可靠”的特点给当今人们的生活带来了显著的影响,同时也极大加快了我国教育产业的进步。5G技术将会引发教育生态的一场重大变革,推动我国教学向个性化、精准化、智能化、泛在化发展。5G网络的环境下,VR/AR、云计算、边缘计算、物联网等技术将在教学中得到更广泛而深入的应用。本文针对三个不同
资源分配,即如何调整资源和目标之间的分配关系来达到最大的分配效果。资源分配问题广泛存在于民用场景和军用场景,例如火力资源分配、电力资源分配和应急物资分配等都是资源分配问题的典型应用。强化学习是一类机器学习方法,是推动从弱人工智能走向强人工智能的关键技术之一。强化学习的关键在于策略,智能体通过与环境互动来学习策略。智能体首先获取环境中的状态,并在当前状态根据策略选择动作,从而使环境状态发生变化。在状
学位
随着智能网联技术的飞速发展,车联网行业步入了大规模商业落地的关键时期,但是将其大规模部署应用在真实的交通环境中之前,仍然存在很多问题亟待解决,对复杂交通运行环境下车车通信技术的交通适应性的相关研究较少,亟需完整的综合评价方案来进行测试和评估。传统的车辆测试评价对象是“人-车-路”相对独立的单一评价方式,而智能网联汽车的测试评价对象变成“人-车-路”全方位的功能系统,是实时进行环境感知、控制决策等驾
点云拼接是全表面重建的一个关键步骤,在医学成像、工业检测、自动驾驶和逆向工程等领域都有良好的应用场景。在现实场景中,由于目标物体的复杂性和设备的限制,传感器只能在有限的视野范围内扫描,获得局部点云数据,需要将局部点云进行点云拼接才能获取完整的物体表面信息。三维局部点云拼接由于点云的无序性、旋转不变性、内部点对关系等自身特性和两片点云之间仅有部分点存在对应点等外部原因,使得点云拼接过程中存在许多挑战
基于"享受乐趣、增强体质、健全人格、锤炼意志"的"四位一体",打造兴趣支配基础上的体育体验,在兴趣的支配下促使学生参与,在参与的过程中锻炼学生体质、磨炼学生意志、健全学生人格,促使学生在积极的学习经历中,积累丰富的体育经验和情感体验,在积极的学习锻炼过程中,实现学生的健康发展。
实时以太网因为兼容性好、传输速率高、成本低等优点已经在新一代列车上得到了应用。然而,多种业务融合和以太网通信协议的开放性使列车通信网络存在被攻击的风险,对列车的正常运行和旅客的生命财产构成了威胁。在列车实时以太网技术方案中应用相关安全技术对保障列车安全运行有重要意义。本文通过渗透测试技术来测试发掘列车实时以太网的弱点,通过异常检测技术来对列车实时以太网进行有效防护。论文主要研究内容如下:(1)基于