基于补丁融合网络的运动模糊视频盲复原方法研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:litiemei101
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
模糊视频复原长期以来一直是计算机视觉和数字图像处理领域的热点课题,保证模糊视频的高质量复原对于日常生活、医疗科学、安全监控等各个领域都有着重要意义。运动模糊是模糊视频中最常见的类型,早期对运动模糊视频的复原研究通常是将视频简化为单帧模糊图像进行复原,这类研究方法利用帧内信息,而忽略了帧间的互补信息。近年来,卷积神经网络用于运动模糊视频盲复原已经取得了较好的效果,这类方法可以有效利用视频邻近帧之间内容一致但清晰程度不同的互补信息,来提高运动模糊视频的复原质量。而视频具有一个重要的特性,为长距离时空依赖性,即远处视频帧中依然包含大量与待复原目标帧相关的清晰纹理细节。因此,增强网络对远处视频帧互补信息的捕获,有效利用视频帧间的长距离时空依赖,成为提高运动模糊视频复原质量的关键。研究表明,将视频输入帧特征离散为特征补丁,并用于直接匹配帧间锐利特征补丁,是提高视频复原网络对帧间互补信息捕获能力的一种有效途径。但是,视频中目标的复杂运动轨迹通常会造成帧间内容严重错位,并且较大的运动会引入剧烈的模糊,使网络难以捕获到准确的帧间互补信息。为此,本文通过开展基于补丁融合网络的运动模糊视频盲复原方法研究,增强视频帧间的长距离时空依赖,达到提高运动模糊视频复原质量的目的。本文开展的主要工作如下:(1)提出了基于多尺度补丁融合网络的运动模糊视频盲复原方法。该方法根据补丁合成思想,设计了多尺度补丁融合网络(Multi-scale Patch Fusion Network,MPFN),通过直接匹配、融合视频帧序列中任意相似特征补丁,可以更好的获取视频帧间时空依赖,消除视频中目标复杂运动与剧烈模糊对学习帧间互补信息的影响,以应对现有方法在获取视频帧间长距离时空依赖上所面临的挑战。该网络主要由多尺度补丁匹配模块和补丁融合模块组成。多尺度补丁匹配模块用于从所有输入视频帧特征中匹配出相似、可用的锐利互补特征,为目标帧特征复原提供关键的纹理细节。其中多尺度网络结构有利于提高视频帧中锐利特征的匹配精度。补丁融合模块用于融合多尺度补丁匹配模块得到的锐利特征信息,并且为帧间互补信息中更为清晰、相似的内容赋予更大权重,进一步提升模糊视频复原的质量。最后,在Go Pro数据集和Video Deblurring数据集上开展了验证实验,实验表明:MPFN能够有效利用视频帧间长距离时空依赖,实现高质量的运动模糊视频复原。(2)MPFN在特征补丁匹配上是将图像特征分割为互不重叠的特征补丁,在一定程度上降低了补丁匹配的灵活性和泛化性,并且存在补丁错位的现象。为此,本文提出了基于补丁对齐融合网络的运动模糊视频盲复原方法,该方法设计了补丁对齐融合网络(Patch Aligned Fusion Network,PAFN)用于解决上述问题。PAFN主要由精细化补丁匹配模块和补丁对齐融合模块组成。首先,精细化补丁匹配模块用于解决多尺度补丁匹配模块中补丁匹配的灵活性问题,该模块将输入帧特征离散为部分重叠的特征补丁,并进行匹配。这样增大了锐利特征补丁数量,使得补丁匹配更加灵活,可降低目标特征补丁与匹配的锐利特征补丁之间内容位置偏差,提高特征补丁匹配精度。其次,补丁对齐融合模块用于解决补丁匹配过程中不可避免存在的补丁错位问题,该模块将匹配所得锐利特征与目标帧中深层图像特征通过可变形卷积进行对齐,然后再进行补丁融合。由于可变形卷积不规则卷积核所带来的灵活特性,付出较小的计算代价获得锐利特征与目标帧特征间准确的像素关系,消除补丁错位对视频复原质量带来的影响。经过对MPFN中网络结构的改进,PAFN有效提高了对运动模糊视频的复原的质量。为验证所提出方法的有效性,本文在Go Pro与Video Deblurring两个模糊视频数据集上开展消融、对比实验。实验结果表明:对于运动模糊视频,MPFN和PAFN均能够有效利用视频帧间长距离时空依赖,且运动模糊视频的复原质量优于现有主流方法。同时,PAFN相比于MPFN复原效果更好,鲁棒性更强。
其他文献
风洞试验为航空航天飞行器的先进气动布局和大迎角机动性的研究提供了重要的技术支撑,但在风洞试验中,由于尾撑支杆的长度一般是飞机模型长度的三到五倍,使得系统刚度较低,在气动载荷作用下易产生低频大幅振动。磁流变弹性体(Magnetorheological Elastomer,MRE)作为一种新型智能高分子材料,在外加磁场作用下其力学性能可以实时变化,具有响应速度快(ms级)、可逆性好、能耗低等优点,为尾
学位
发动机热端部件是航空发动机的重要组成部分,其局部过热会严重影响发动机的寿命。因此,在热端部件设计、优化和改进过程中,需要实时测量热端部件表面温度场。尽管已有很多航空发动机温度测试方案,但受限于测试位置和测试环境,目前尚无成熟有效的热端表面温度测试手段。光纤光栅传感器具有尺寸小、重量轻、灵敏度高、抗电磁干扰、复用能力强、性能稳定等诸多优点,近年来在航空发动机热端表面温度测试中受到了广泛的重视。光纤光
学位
在微流控应用中,流体驱动是不可或缺的操作之一。精密注射泵和压力泵是目前实验室应用最多的两种流体驱动装置,虽然它们可控性好、精度较高,但其价格昂贵、体积较大,不适于微流控系统低成本、便携式应用。尽管近年来为了提高微流控系统的集成度和便携性,人们开发了一系列集成式微流体驱动系统,但它们要么制造复杂、成本高,要么可控性差、工作时间短、流量调节范围窄,因而限制了这些系统的实际推广使用。针对目前微流控领域驱
学位
数字化X射线摄影技术(DR)是目前工业领域广泛应用的无损检测方法,能够得到直观反映铸件内部缺陷位置、大小和形态的DR图像。在得到铸件DR图像后,人工对DR图像进行缺陷判定的检测效率低,易受外界环境、底片质量等因素影响。随着工业智能化技术的不断发展,基于计算机视觉的缺陷检测技术逐步取代了传统的人工缺陷判定。传统特征提取算法通过人为设计的特征提取算法对图像进行特征提取,再使用分类器进行缺陷分类,这种方
学位
工业计算机断层扫描(CT)作为目前主流的无损检测手段之一被广泛应用于航空航天、缺陷检测、逆向工程等领域。随着工件生产对质量控制提出了更高要求,精确判断缺陷尺寸对于控制工件质量具有现实意义。其中缺陷体积作为判断缺陷尺寸的指标也愈发重要,本文中利用工件三维CT图像对内部缺陷体积进行测量并显示缺陷空间结构辅助检测人员对缺陷进行分析。本文研究了工件三维CT图像孔洞和空腔等体积型缺陷的测量问题,提出了一种内
学位
据统计,每年因金属材料腐蚀损失造成的经济损失约占全球GDP总量的3%,其中一半以上都由大气腐蚀引起。为减少材料大气腐蚀带来的损失,有必要进行环境试验,测试材料的抗腐蚀性能。试验过程中,空气中的水汽和氧气等腐蚀性介质凝结在试样由金属及其腐蚀产物组成的粗糙表面上,形成一层液膜。液膜的厚度直接影响材料试样的大气腐蚀速率。大多数试样在表面液膜厚度处于2~100μm范围内时腐蚀最快。对大气腐蚀过程中材料试样
学位
我国经济迅速发展的同时带来了大气、水、土壤等各种环境污染,其中大气污染最为严重。随着大量的化石燃料被使用消耗,燃煤电厂会大量排放SO2、NOx等气体污染物,对环境和人类会造成严重损伤。国家生态环境部为保证环境优良发展,制定了火电厂大气污染物超低排放国家标准(GB13223-2011),随之而来的问题就是国产检测仪器性能无法达到超低排放国家标准,而进口仪器虽然性能优良但价格高昂。因此基于我国重大科学
学位
半导体行业一直以摩尔定律为准则在高速发展,随着器件的集成度提高,硅基器件已经无法满足摩尔定律,石墨烯和类石墨烯等二维材料的出现继续推进半导体行业的发展,由于石墨烯和类石墨烯等二维材料具有原子层厚度,同时具有优异的电学、光学、热学等性能,使其成为了人们研究的热点。同时,国家大力发展半导体行业,大力开拓芯片领域,芯片是由几十个、千万个或上百亿个晶体管组成,故晶体管的性能对芯片的整体性能起着决定性的作用
学位
作为一种阻尼可控器件,磁流变阻尼器具有结构简单、体积小、反应快、能耗低等优点,可以根据外加磁场调控阻尼力大小,在航空、汽车、建筑等领域具有广泛的应用前景。由于磁流变液自身无法避免的沉降特性,在长时间静置工况下,传统磁流变阻尼器存在性能不确定性,甚至发生机械卡滞,影响器件性能及寿命。针对传统磁流变阻尼器存在的问题,本文基于“运行分散”设计理念,提出并设计一种新型磁流变阻尼器,并称之为运行分散磁流变阻
学位
管道在航空航天和石油化工等工程领域以及给水疏水等日常生活中都有着广泛应用,然而管内流体脉动、气柱共振以及与管道相连设备等带来的时变复杂振动,严重影响了运行安全和使用可靠性。磁流变弹性体(Magnetorheological Elastomer,MRE)吸振器是在传动被动式和主动式吸振器基础上发展而来的新型智能调谐器件,不仅可将振动能量从被保护对象传递到子系统,以实现振动衰减,还具有调节范围宽、响应
学位