【摘 要】
:
随着深度学习的迅猛发展,多媒体设备的传输质量越来越高。但是大量视频在采集、传输和保存的过程中依然存在许多问题,导致最终的视频质量较差,需要采用视频超分辨率重建算法来获得更加清晰的内容。在目前的相关研究中,基于深度学习的视频超分辨率重建算法已成为该领域的主流研究方法,该项技术在智能安防、视频修复和医疗影像等领域已被广泛应用。本文选取端到端的视频超分辨率重建网络来进行相关研究。相比于单幅图像的超分辨率
论文部分内容阅读
随着深度学习的迅猛发展,多媒体设备的传输质量越来越高。但是大量视频在采集、传输和保存的过程中依然存在许多问题,导致最终的视频质量较差,需要采用视频超分辨率重建算法来获得更加清晰的内容。在目前的相关研究中,基于深度学习的视频超分辨率重建算法已成为该领域的主流研究方法,该项技术在智能安防、视频修复和医疗影像等领域已被广泛应用。本文选取端到端的视频超分辨率重建网络来进行相关研究。相比于单幅图像的超分辨率重建,视频超分辨率重建需要利用相邻视频帧之间的关联信息。针对现有视频超分辨率重建算法中存在的时序特征提取不充分问题,本文提出基于3D卷积的时序特征增强模型,通过引入3D卷积,来提取相邻视频之间的时序信息,对原始的光流网络输出特征进行补充。同时,为了减少重建过程中出现的平滑现象,增强网络的收敛性,本文选取平均绝对值误差损失函数来对网络进行训练。实验结果表明,相邻帧间时序特征的充分利用,可以有效地提高网络的重建质量。针对重建过程中距离较远的特征点无法被有效利用的问题,本文在重建网络部分引入非局部操作NonLocal模块,来捕获视频帧中的远距离像素点信息,增加网络的感受野,增强网络的感知能力。同时,针对特征信息融合不高效的问题,本文提出了基于多尺度特征融合的视频超分辨率重建模型,通过不同的级联方式,使得不同尺度卷积核提取到的特征信息,被充分地融合利用,所重建出来的结果可以包含更多的高频细节特征。通过在标准测试集上进行对比实验,可以发现本文算法重建出来的视频帧序列纹理信息更加丰富,无论是客观评价指标还是人们的主观视觉感受均有明显地提高,从而验证了本文方法的有效性。
其他文献
近年来,光场成像技术受到了计算摄影学、计算机图像及光学领域研究人员的广泛关注。目前,由于空间-角度分辨率折中导致的光场成像分辨率不足问题仍然阻碍着光场系统应用的进一步发展。相较于传统图像超分辨率技术,深度学习的图像超分辨率技术近期取得了更优的超分辨率结果。但是,此类方案的学习或训练过程严重依赖于训练样本集,这使得其方法的泛化性能明显不足。本文提出了一种新型零次学习算法的光场空间-角度域超分辨率重建
大型汽车覆盖件模具是用于汽车制造业中的重要模具,模具技术水平的高低影响着整个汽车制造业水平。由于大型模具需要保证万次以上的使用寿命,因此如何提高模具寿命成为了当下汽车制造业急需解决的一个重要问题。目前大多数汽车企业采用表面火焰淬火的方式来提高模具表面的硬度与强度,以延长模具的使用寿命。但由于火焰淬火主要凭借工人经验来判断加热温度,会导致过烧、欠烧,影响淬火质量。因此本文提出基于六轴高频感应淬火机床
大气温度是描述大气状态变化的基本物理量之一,它对于观察全球气候变暖、城市热岛现象和颗粒物吸湿增长特性等都有着重要参考意义。作为一种主动遥感探测方式,高光谱分辨率激光雷达具有时空分辨率高和易实现全天时观测的特点,因此被认为是精确连续探测大气参量的重要手段,它可为大气温度的连续观测、云的形成和降水、大气污染物的扩散机理及其他边界层大气现象研究提供有力的参考。本文针对高光谱分辨率激光雷达探测大气温度的方
当前生物特征识别(biometrics recognition,BR)技术(如指纹识别、虹膜识别、人脸识别等)主要是基于图像采集与处理的方法,存在种种不足。课题组前期首次提出一种全新的基于手掌电阻抗谱(BIS)测量的BR方法,设计了一种基于ARM的扫频式BIS测量系统。但是在实验中受外界环境如手指干湿程度、接触压力等因素的不同造成BIS测量重复性欠佳,识别率低。本论文在前期研究的基础上,设计一种改
随着我国的城镇化越来越高,地铁建设工程正逐渐进入大发展时期,而地铁车站暗挖施工技术正是其中十分重要的手段,为了能更安全有效地施工、充分结合地上地下资源,工程设计人员对其的研究从未停歇。本文依托西安地铁新植物园站的地铁建设工程,采用MIDAS-GTS岩土工程数值模拟软件,并结合理论分析等手段,对新植物站PBA工法施工进行了全过程施工阶段模拟,得到了新植物园站PBA工法不同施工阶段的地表变形及结构受力
图像特征检测与匹配是计算机视觉领域的基础研究问题。目前,传统算法虽已处于理论成熟期,但也面临复杂自然场景中遮挡、阴影、相似性纹理以及光照变化一系列挑战,其根本原因之一在于传统图像数据的低可计算性。为突破二维图像的低可计算性瓶颈,光场成像技术采用四维参数化方法获取空间光线的位置和角度信号。基于光场成像理论,本文提出了光场对极平面图像的特征检测、描述与匹配算法。与传统方法不同,本文在光场对极平面图像中
图像特征检测和匹配是许多高层计算机视觉任务的重要基础。真实场景目标普遍存在遮挡、非朗伯表面、复杂纹理等因素,受此影响传统图像特征的检测和匹配仍面临较大挑战。与传统成像系统相比,双平面光场成像系统能够同时记录光线的位置和角度,对场景信息的记录更完备。光场数据的多角度信息为高精度特征检测与匹配提供了比传统图像更具优势的数据基础。光场二维对极平面图像(Epipolar plane image,EPI)是
阿尔兹海默症(Alzheimer’s Disease,AD)是一种不可逆的大脑神经退行性疾病,随着病情的加重患者通常会出现认知能力下降、记忆力衰退等症状,严重的会出现丧失生活自理能力的情况,极大加重了患者和其家人的生活负担。随着我国人口老龄化问题日趋严重,AD的发病率逐渐升高,对早期AD患者进行疾病干预可有效提高患者的生存周期和生活质量,因此对AD的不同发展阶段进行准确诊断尤为重要。近年来,CT、
运动目标检测技术是计算机视觉领域的热门研究方向,其主要目的是将运动目标检测为前景从视频序列中提取出来,与之相对的运动目标周围环境作为背景,与运动目标分离,具有成本低、可代替人工、全天候服务等优点,在智能监控系统的应用领域有着十分广阔的市场前景。视频稳像技术的作用主要是解决由于摄像头抖动导致视频影像随之偏移的问题,视频稳像技术通过分析视频全局信息,找出视频序列当中的抖动帧,并结合全局信息对抖动帧进行
众所周知,信息以明文形式传输时极易遭受不法分子的窃取、篡改。作为常见的信息载体,图像加密成为信息安全领域的一个重要分支。相比于传统成像,单像素成像技术在噪声、弱光条件下具有很大优势。傅里叶单像素成像作为一种典型的单像素成像技术,可以高质量地成像。然而,较长的测量时间和较多的测量数量依然是单像素成像应用中的劣势。针对以上问题,本文结合傅里叶单像素成像技术、光学处理技术和逻辑映射提出了图像认证和图像加