基于深度学习的运动遮挡光流计算技术及边缘优化策略研究

来源 :南昌航空大学 | 被引量 : 0次 | 上传用户:ip81890
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
光流计算是图像处理和计算机视觉等研究领域的一项基础任务,旨在从连续图像序列中计算得到各个像素点的二维运动。光流中包含了丰富的运动信息,被大量计算机视觉任务用作运动信息。因此,研究光流计算技术的关键问题是如何从图像序列中恢复准确、稠密的光流场,从而为其他计算机视觉任务提供可靠的图像序列运动信息。21世纪以来,计算机软硬件技术水平不断发展,光流计算技术已被广泛应用于动作识别、人体姿态计算、目标跟踪、障碍物检测和自动驾驶等众多领域。近年来,随着卷积神经网络(Convolutional Neural Network,CNN)在计算机视觉各个领域的大规模应用,基于深度学习的光流计算方法成为该领域研究的热点,光流计算的精度和鲁棒性得到了显著提升。虽然现有的深度学习光流方法针对Middlebury、MPI-Sintel和KITTI测试集的平均计算精度已取得优异表现,但是当图像序列中包含运动遮挡及复杂场景时,光流计算的鲁棒性和边缘模糊问题仍然是制约该项研究发展的重要挑战。针对以上问题,本文主要研究基于深度学习的运动遮挡场景光流计算技术及边缘优化策略,旨在提升运动遮挡场景及复杂场景下光流计算的准确性和鲁棒性,并克服光流计算的边缘模糊问题。本文的主要研究内容如下:1.首先介绍了光流计算技术的研究意义与背景,然后归纳总结了光流计算技术的研究现状以及现存的关键问题,最后阐述了本文的主要贡献和章节安排。2.首先介绍了基于卷积神经网络的光流计算原理,然后介绍了现有的光流计算数据集,最后对光流计算领域常用的评价指标进行了归纳总结。3.针对运动遮挡场景光流计算的准确性和鲁棒性问题,本文提出一种基于多尺度上下文信息的遮挡-光流联合估计方法。首先,利用具有不同扩张率的多条并行卷积分支,构造多尺度上下文(Parallel Multiscale Context,PMC)运动遮挡检测模块。然后,构建基于特征金字塔的遮挡检测与光流估计网络模型,设计运动遮挡与光流交替优化的联合估计方法。最后,分别采用MPI-Sintel和KITTI测试数据集对本文方法以及现有的代表性光流计算方法进行综合测试与分析。实验结果表明,本文方法具有更高的光流估计精度,尤其在运动遮挡场景下具有更好的鲁棒性。4.针对复杂场景下光流估计的边缘模糊问题,本文提出一种轻量化光流边缘优化方法。首先,根据空间运动一致性守恒假设,设计图像序列位移场估计方法,获取连续帧图像间运动边缘像素点位移矢量。然后,构造基于图像序列运动残差场和位移场的光流边缘优化网络模型,提升运动边界区域的光流计算准确性。最后,将本文光流边缘优化方法应用于多种典型的深度学习光流计算模型,并采用MPI-Sintel和KITTI测试数据集对不同方法进行测试。实验结果表明,本文提出的光流边缘优化方法能够有效提高光流估计的平均精度,尤其在运动边界区域具有显著的边缘保护特性。
其他文献
<正>“五年之后的传统电视应该要建成跨屏生态,那时候中国的广电行业不再是传统广播电视,而应该是建成了全媒体传播体系的新型视听业。”2022年11月21日,胡正荣在2022中国电视大会上作了《全媒体传播体系中的电视未来:无屏生态》主题发言,提出视听平台的演变进程是“单屏—多屏—跨屏—无屏”。他表示,传统视听和智能视听的最本质分野就是技术带来的可能性一下子多元化了,
期刊
<正>“中心确定了‘突出重点,统分结合,融合发展,人尽其才’16字工作方针,立足打赢新闻宣传‘总体战’、经营创收‘翻身仗’、融合发展‘攻坚战’,形成融为一体、合而为一的全媒体传播格局。”2023年春节后上班的第一天,福建省广播影视集团广播全媒体中心就拿到了集团颁发的两块含金量很大的奖牌:“突出进步奖”和“平安建设示范单位”。
期刊
随着社会的发展和健康知识的普及,健康议题越来越受到社会各界的高度重视。同时,随着我国人口老龄化程度逐年加深,“促进健康老龄化”被列入《“健康中国2030”规划纲要》。另一方面,互联网信息技术的革新使我国信息传播进入全媒体时代。由此,文章着眼于全媒体时代背景,通过分析传播形态变迁下健康传播的范式转化与老年群体的角色演变,指出在媒介革命的驱动下,健康传播范式从“宣传教育”转向“互动对话”。在全媒体时代
期刊
本研究立足于各类人工智能算法在中医诊断中的应用现状及问题。主要介绍传统机器学习算法以及近年来新兴的深度学习算法与中医四诊相契合的场景;探索将人工智能技术引入中医诊断过程,以进一步推动中医的客观化、定量化发展的智能诊疗机器人设计。针对我国目前中医诊疗仪器在临床领域研发应用现状,引入机器人技术,以促进中医诊疗仪器创新发展,推动中医理论研究与诊疗技术的协同发展,使中医诊疗技术在提高人民健康和生活水平方面
期刊
3D场景流是真实世界中场景表面可见像素点的瞬时三维运动矢量,与光流相比,3D场景流不仅包含场景和物体的三维运动参数,还提供了丰富的三维结构信息。研究3D场景流计算技术的目的是从图像序列恢复场景与物体的三维运动与结构,进而为高级视觉任务提供准确的先验信息。近年来,随着计算机技术的快速发展,3D场景流计算技术已成为图像处理、计算机视觉与人工智能等领域的研究热点,研究成果被广泛应用于虚拟现实、自动驾驶、
学位
内蒙古自治区的地区形象是公众对内蒙古政治、经济、社会、历史、文化的综合认知与评价,是内蒙古软实力的重要组成部分,是推动内蒙古高质量发展的重要战略资源和无形资产。塑造和传播内蒙古的良好形象需要依托社会信息系统尤其是媒介传播体系来实现。当前,媒介传播已步入全媒体时代,内蒙古地区形象的塑造与传播需要提升战略定位,讲好自身故事,做好融合传播。
期刊
自修复材料概念的提出,各种各样的新材料层出不穷,满足人们对于材料的苛刻需求。由于自修复材料独特的性能,在很多领域具有潜在应用。在材料中引入多种可逆共价键的自修复体系,使得材料可以在多种条件下修复,以及加快修复速率,具有重要的研究意义。本文通过在环氧树脂中添加环氧双封头作为软段,同时在环氧树脂体系中引入Diels-Alder(DA)键和双硫键,制备出具有多次修复性能的本征型自修复环氧树脂,研究了不同
学位
随着环境问题的日益严重,基于过硫酸盐的高级氧化技术(AOPs)因其在水净化中的高选择性和强氧化潜力而受到广泛关注。在各种过硫酸盐的活化方式中,使用多相催化剂在光诱导下活化过一硫酸盐(PMS)或过二硫酸盐(PDS)已被证明是一种有效的策略。然而,不同的催化剂对过硫酸盐的活化效率差异很大。因此,基于过硫酸盐高级氧化技术的未来发展依赖于开发具有高活性和高稳定性的催化剂。在众多的多相催化剂中,铁基金属有机
学位
热障涂层(thermal barrier coatings,TBCs)是先进航空发动机和地面燃气轮机研制的关键技术,其优异的隔热性能显著降低了合金基体的服役温度,有效提升了发动机的燃油效率和推重比。Y2O3部分稳定的Zr O2(简称YSZ)是目前广泛使用的热障涂层材料。然而,热障涂层材料不可避免地存在失效问题,大大降低了热端部件的使用寿命。为此,本文提出采用激光熔覆技术修复热障涂层,研究了不同YS
学位
<正>党的二十大报告提出“加强全媒体传播体系建设,塑造主流舆论新格局”,为我们做好新时期新闻宣传工作提供了基本遵循、指明了前进方向。河北日报报业集团牢记省委机关报职责使命,将认真学习宣传贯彻党的二十大精神作为当前和今后一个时期的首要政治任务,全面系统深入学习,力求完整准确领会,对是什么、干什么、怎么干了然于胸。结合深入学习贯彻习近平总书记关于宣传思想工作特别是关于媒体融合发展的一系列重要论述,重点
期刊