学习注意力调制网络的视频目标分割算法研究

来源 :南京信息工程大学 | 被引量 : 1次 | 上传用户:tuyuantao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术快速发展和互联网快速普及,视频作为互联网中重要的信息传播载体,深深地影响生活、教育、社交、军事等各个领域的发展。视频目标分割技术作为视频处理的关键技术之一,旨在视频序列中分割感兴趣的区域,目前已广泛的用于智能视频监控、智能交通、视频剪辑、无人驾驶等领域。在实际场景中,现有的视频目标分割算法容易受到目标遮挡、光照变化、快速运动、形变等因素的挑战,使得模型无法准确定位分割目标,出现目标丢失或者目标轮廓不完整等问题,导致分割精度低,鲁棒性差。本文致力于半监督的视频目标分割算法的研究,目的是设计一个鲁棒的结合目标时序信息和空间关系进行调制网络的分割模型,使其能够快速适应感兴趣的对象实例。本文的主要研究工作总结如下:本文提出了一种基于特征注意调制网络的半监督视频目标分割算法。构建视觉注意网络和空间注意网络分别学习分割对象的语义信息和空间信息,调制分割网络专注于特定对象实例。这样既能对分割目标的外观信息进行精确表征,也利用了先前帧的运动信息,使得分割模型在复杂场景下更鲁棒的学习分割目标的特征。为了更好地利用多尺度的特征,提出了特征注意金字塔模块,利用不同尺度的池化核捕捉多尺度的特征信息。实验结果表明该方法在目标形变、快速运动、尺度变化等复杂场景下,表现出良好的鲁棒性和精确度,完成高质量的分割。针对多目标分割场景中出现的相似对象实例之间互相遮挡、形变等挑战,本文提出了一种基于双重注意调制网络的半监督视频目标分割算法,在工作一的基础上进一步拓展。构建通道-空间注意模块,进一步细化调制分割网络,增强与分割目标有关的特征,使得分割网络不仅专注于分割目标的整体信息,还专注于局部特征,提高相似对象实例特征之间的区分性。本文还提出残差细化上采样模块,结合高层的语义信息和浅层的位置信息,实现多尺度特征的融合。针对训练样本类别不平衡问题,本文还利用了focal loss损失函数,使得网络专注于对困难样本的训练,加速网络的收敛。针对训练样本不足导致的模型过拟合问题,采用“清醒梦”数据增强策略,模拟未来帧的变化,生成大量训练样本。实验结果表明,本文的模型在多目标分割任务中获得优异的结果。
其他文献
图像压缩作为图像处理领域相关研究内容之一,如何对包含庞大数据量的图像进行有效压缩具有重要研究意义。本文主要针对字典学习在图像压缩领域中的一些不足进行深入研究,主要工作概括如下:1.考虑到聚能量字典学习算法在去噪能力和算法复杂度方面存在局限性,研究了一种基于去噪自编码深度极限学习机和近似K奇异值分解的图像压缩算法。由于聚能量字典学习算法中存在去噪能力不足的问题,该算法利用去噪自编码深度极限学习机获取
国际贸易理论经历了古典贸易理论、新兴古典贸易理论、新贸易理论之后,进入了新新贸易理论的时代。随着跨国企业成为世界市场活动的主要承担者,传统贸易理论研究的两国产业间的贸易活动已经不再能满足实际需要,将研究层次推进到产业内,讨论企业间差异的新新贸易理论成为当下研究热点。新新贸易理论以Melitz的异质性企业模型为基础发展而来,该理论认为企业间的差异突出表现在生产率的差异上,并由此构建了以生产率为主要指
中国共产党建党精神是在中国共产党酝酿、建立和发展过程中生成的革命精神,是中国共产党革命精神的源头,也是中国共产党初心和使命的源头。近年来,关于建党精神的研究日渐增多,在较短的时间里取得了丰硕的理论成果,成为学术研究中一个新的热点和生长点。建党精神研究具有显著的后发性、现实性、地域性特征,整体呈现繁荣态势,但也面临着亟待突破的发展瓶颈。今年是中国共产党成立100周年,进一步深化对建党精神的研究,具有重要的历史意义和现实价值。
新一轮的课程改革在课改观念上改变课程过于注重知识传授的倾向,强调形成积极主动的学习态度,并强调将学生获得知识与技能的过程成为学会学习和形成正确价值观的过程。《义务
当下的中国,正在进行着“从管制型国家趋向服务型国家”的巨大转变。因此,借助电子信息化政务系统改善传统政务方式,给社会大众传播政务服务信息和宣传政务理念,构建一个以人
校园纠纷,尤其是青少年欺凌事件的频繁发生,使得校园安全问题成为当前社会重点关注的一个焦点问题。提高学生和平化解纠纷的能力与技巧,是减少欺凌事件、维护校园安全的有效
自风格迁移算法被提出以来,相关的研究层出不穷,该研究在图像渲染、上色、艺术创作以及实际应用问题中具有重要的需求。而在视频风格迁移问题中,人们发现生成的风格化视频常常出现重影、伪影以及闪烁现象,并且具有算法速度缓慢、效率低下的问题。因此,研究如何同时提高视频风格迁移算法的时域稳定性和算法速度具有重要的研究意义。传统的视频风格迁移算法基于迭代优化,通过相邻两帧之间的正反向光流来约束风格化视频的时域一致
产业组织理论是关于某一产业的组织、行为、结构等方面研究的重要理论。由于它适应了经济理论与数学模型相结合的需要,因此,应用广泛。产业集中度作为衡量产业市场结构的指标意义重大,产业集中是提高产业国际竞争力与实现产业现代化发展的必然选择。本文将产业组织理论导入旅行社市场研究中,采用绝对集中度公式对2007—2016年我国旅行社业的产业集中度进行测算,依据测算结果可知,自2007年起至2016年这十年间我
随着基础教育的改革,全国各市逐渐开始实施废除公开学生考试成绩排序这一措施,取而代之的为匿名考核制的排序体系,改革主要注重引导教师以发展的眼光、综合的角度全方位地看
不平衡数据分类问题广泛存在于不同的领域中,而不平衡数据分布固有的复杂性会显著降低分类器的分类性能,因此如何提高分类器在不平衡数据中的分类性能值得我们不断研究。传统