【摘 要】
:
模糊视频复原一直是计算机视觉和数字图像处理领域的一个重要课题,它的研究对于日常生活、安防、医疗、太空探测等领域都有重要意义。近年来,卷积神经网络被广泛用于模糊视频复原,基于卷积神经网络的模糊视频复原方法需要有效地聚合视频帧之间的互补信息,这些互补信息包含了参考帧的清晰纹理细节,是实现目标模糊帧高质量复原的关键。近期的相关研究表明,精确的视频帧对齐能够有效地提高网络对视频帧间互补信息的学习能力,从而
论文部分内容阅读
模糊视频复原一直是计算机视觉和数字图像处理领域的一个重要课题,它的研究对于日常生活、安防、医疗、太空探测等领域都有重要意义。近年来,卷积神经网络被广泛用于模糊视频复原,基于卷积神经网络的模糊视频复原方法需要有效地聚合视频帧之间的互补信息,这些互补信息包含了参考帧的清晰纹理细节,是实现目标模糊帧高质量复原的关键。近期的相关研究表明,精确的视频帧对齐能够有效地提高网络对视频帧间互补信息的学习能力,从而提高运动模糊视频的复原质量。但视频中复杂的运动,导致了局部不一致的帧间内容错位和复杂的非均匀运动模糊,阻碍了视频帧有效、准确地对齐。为了解决这一问题,本文开展基于可变形卷积的运动模糊视频盲复原方法研究,以实现精确的帧对齐,从而充分利用帧间互补信息,提高运动模糊视频的复原质量。本文开展的主要工作如下:(1)提出了基于多尺度可变形卷积的运动模糊视频盲复原方法(Multi-scale Deformable Convolutional Method for Blind Motion Video Deblurring,MDVD)。首先,该方法采用预对齐和3D补偿的两阶段对齐策略,逐步完成视频帧对齐。在预对齐阶段,该方法基于多尺度和级联的思想,设计了一种多尺度可变形卷积对齐模块,其由粗到细地对齐视频帧特征。在3D补偿阶段,该方法基于3D卷积层设计了一种3DConv补偿模块。在3DConv补偿模块中,该方法设计了时间、空间和通道解耦的注意力模块,用于为帧间互补信息中更为清晰、锐利的内容赋予更大的权重。该两阶段的视频帧对齐策略降低了网络各阶段的帧对齐压力,能有效地处理大尺度、严重的帧间内容错位,从而降低了网络训练和收敛的难度,有利于提高帧对齐的精度。此外,该方法中设计了空间流。该空间流是由两类宽激活残差块叠加组成的,通过改变激活层特征的空间分辨率或通道,能够在不增加参数量的情况下,更加丰富地表征目标帧的空间信息,如纹理细节等。空间流的设计进一步提高了该方法对运动模糊视频的复原质量。实验表明,该方法能够实现高质量的运动模糊视频复原。特别地,没有空间流的MDVD(w/o spatial stream)仍然有很高的复原质量。但是,所提方法还存在以下问题:1)视频中复杂运动所导致的帧间内容错位和非均匀运动模糊,使得所设计的多尺度可变形卷积对齐模块难以进行训练优化,从而影响了视频帧对齐的精度;2)所提方法的模型大小和时耗显著增加。(2)提出了基于补丁级多尺度可变形卷积的运动模糊视频盲复原方法(Patchbased Multi-scale Deformable Convolutional Method for Blind Motion Video Deblurring,PDVD),用于解决(1)中基于多尺度可变形卷积的运动模糊视频盲复原方法存在的问题。首先,针对多尺度可变形卷积对齐模块训练和优化困难的问题,该方法设计补丁级可变形卷积对齐模块。该模块将帧特征的对齐转换为不同尺度、部分重叠的特征补丁的对齐。由于帧特征的复杂运动和非均匀运动模糊简化为特征补丁的单一运动和均匀模糊,使得特征补丁的对齐比帧特征的对齐更容易训练和收敛。从而使得基于特征补丁的视频帧对齐更加精确。然后,针对(1)中方法的模型大小和时耗显著增加的问题,该方法省去了(1)中的空间流,去除了3DConv补偿模块中的注意力模块,并减少3D卷积层的使用。经过上述网络结构的改进,该方法有效减少了该方法的模型大小和时耗。为验证所提出的MDVD和PDVD,本文在两个典型的模糊视频数据集上开展消融、对比实验。实验的结果表明,对于运动模糊视频,MDVD、MDVD(w/o spatial stream)和PDVD的复原质量优于现有主流方法,尤其是MDVD有着明显的提升。但在模型大小与时耗方面,PDVD更轻量、效率更高,优于当前大部分复原方法。此外,得益于(2)中补丁级可变形卷积对齐模块的帧对齐精度的提升,相较于(1)中的MDVD(w/o spatial stream),PDVD的模型大小和时耗分别减少了68%和71%,而运动模糊视频复原质量的下降不足1%。
其他文献
在我国人口众多、老龄化社会的背景下,康复移动辅助器具具有巨大的市场需求和前景。轻量化、廉价、舒适耐用是康复移动辅助器具的核心指标,目前市场上常用的钢铁、钛合金等材料难以满足轻量化、廉价等需求。镁合金密度小,阻尼性能高,有巨大的潜力开发为新一代康复移动辅助器具材料。然而,镁合金的强度较低、难满足结构材料的力学性能要求;化学性质活泼、容易被腐蚀,其应用受到极大的限制。基于上述问题,本文采用在ZK60基
运动模糊是日常拍摄的模糊图像中最常见的模糊,严重影响了人们对数字图像的正常使用。运动模糊图像通常分为两种:空间不变模糊图像和空间变化模糊图像。空间不变模糊图像中各像素点的模糊方式和模糊程度相同,即具有一个相同的模糊核。空间变化模糊图像中各像素点的模糊方式和模糊程度均不相同,即具有不同类型或大小的模糊核。对于空间不变模糊图像复原,精确地估计出全局模糊核是解决问题的关键。但为空间变化模糊图像中每一个模
声音事件检测不仅需要识别出事件类别,还要检测出该事件在时间序列中发生的起止点。最近,深度学习技术在声音事件检测领域取得了非常大的进展,但是,要得到性能良好的声音事件检测模型,需要花费大量的人力和成本来获得一定规模的有标注数据集。随着谷歌发布了大型音频事件数据集Audio Set,以及IEEE DCASE竞赛的逐年进行,越来越多的人开始关注声音事件检测这一领域,基于数据集训练的声音事件检测模型的性能
利用塑性成形实现的板料无铆连接以及筋肋板等带差厚特征整体薄壁构件,在提高结构比强度、比刚度和减重等方面均有着显著优势,但目前相关研究很少,对其变形规律也缺乏深入认识。本文首先归纳了板料的无铆连接方法和带筋板、筒类构件的成形工艺;针对现有轻量化构件整体成形工艺存在的载荷大、变形难控制等问题,结合解析分析、有限元模拟和物理实验,研究了基于“回转成形”概念的辊压连接与网格筋肋板、筒类构件成形规律。主要内
新能源器件因具备环境友好、可持续发展等特性广受关注,在环境污染与资源短缺的现状下,高性能的新能源器件迫切需要。其中,影响新能源器件性能的关键因素是电极材料。石墨烯因为自身具有高电导率与大比表面积,在电池中得到了广泛的应用。然而,二维的石墨烯纳米片因存在范德华力与接触电阻,容易产生不可逆团聚,降低电池性能。相反,三维石墨烯泡沫体具备石墨烯高电导率与大比表面积的同时,还具有稳定的三维连通多孔结构,能够
6016铝合金是目前车身覆盖件应用最广泛的合金之一,属于可热处理铝合金。在烘烤硬化后,合金性能大幅提高,满足应用的抗凹陷性,同时兼具良好的耐蚀性能。从铝材制备完成到整车零部件上的实际应用,需要长达几个月的时间,在这期间材料将会发生非常显著的自然时效现象,降低其成形性和烤漆硬化性能。因此,通常需要对合金板材出厂前进行预时效处理,抑制自然时效带来的有害作用。目前,大量基于实验室的在固定温度下进行的短时
“生物安全”的概念自提出以来,在人体健康、资源环境、国防安全等多个方面,受到了国内外的广泛重视。细菌等微生物的传播会引起各种疾病,这不仅仅影响了人类生活,还会给经济发展造成重大损失,因此对细菌等微生物的快速检测显得尤为重要。培养法在检测过程中,需要较长的前处理时间,极易错过最佳的诊断与防治;聚合酶链式反应和酶联免疫吸附测定法的检测结果准确、适用范围广,但需要专业且昂贵的检测设备,无法实现快速检测与
环氧树脂具有较高的比强度、耐化学腐蚀、粘接强度高等优点,因而被广泛应用于建筑、航天、电子电气等领域,但是由于自身的易燃性,限制了其使用范围,因此有必要提高环氧树脂的火灾安全性。当前用于环氧树脂阻燃改性的阻燃剂大都是低分子量阻燃剂,大量研究表明低分子量阻燃剂易从基体中迁出,降低阻燃性能与使用寿命。超支化聚合物具有较高的分子量,不易从基体迁出,近年来成为了环氧树脂阻燃领域的研究热点。本文通过分子结构设
镁合金由于密度低,比强度比刚度高,导电导热性好,具有优良的阻尼减震和电磁屏蔽等诸多优点。被广泛应用于航空航天、汽车、以及3C领域,具有巨大的研究价值和应用前景。然而,力学性能室温塑性差,绝对强度低制约了镁合金广泛应用。近年来,以长周期堆垛结构(LPSO相)作为增强相的Mg-RE-Zn系镁合金因优异的力学性能受到越来越多的关注,然而LPSO相种类、形貌、体积分数和分布等因素对合金力学性能的影响规律并
由于镁合金具有密度低、比强度高、电磁屏蔽性能优良等优点,在工程应用方面受到研究员越来越多的关注,随着航空航天、交通运输、电子工业的飞速发展,需要电子封装材料满足质量轻、低膨胀、高导热和成本低等要求。通过向镁合金中引入低膨胀系数第二相,并且使镁合金的轻质优势得以发挥,从而可以拓宽镁合金在以上领域中的应用。本文通过引入高熔点、热稳定性好的Mg12La和Mg2Ca相,研究了La元素和Ca元素对二元镁合金