基于生成对抗网络的视频超分辨率重建算法的设计

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:chinadongfang2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像/视频超分辨率重建任务作为计算机视觉的底层任务之一,其目的是将多帧或单帧低分辨率图片恢复成参考帧对应的高分辨率图片,由于高分辨率视频/图片提供了更为丰富的细节信息,这对于后续的诸多视觉任务至关重要,如复杂场景下的小目标检测、监控视频的行人重识别、医学成像、航空遥感图像等,这使得超分辨率技术成为了计算机底层视觉领域的一大研究热点。本学位论文基于生成对抗网络的框架,通过改进现有的循环帧处理网络结构和判别器模型来达到提升重建性能的效果。本论文所做的改进主要包含两个方面,其一是针对生成器部分的改进,通过引入非局部自注意力模块和基于ConvGRU的时序建模模块,提出了一种新颖的基于循环帧处理的生成器网络结构,以提升网络的重建性能。其二是针对判别器部分的改进,通过考虑空间与时间两个维度,提出了一种双判别器模型,其中通过引入马尔可夫判别器作为空间内容判别器、引入了基于3D残差结构的时间判别器作为时序一致性判别器来分别对生成器的生成结果进行空间内容鉴别与时序一致性鉴别。结合这两方面改进,本论文提出一种基于双判别器GAN的视频超分辨率网络,通过采用对抗训练的策略使得生成器能够重建出具有丰富纹理细节的视频序列,并能够保有真实的时间连贯性。本学位论文使用Vimeo90K数据集作为训练集,使用Vid4和UDM10数据集作为测试集以验证所提出改进的有效性。实验结果说明了本论文所引入的非局部自注意力模块能够通过捕捉输入帧的帧间和帧内相似性来提高网络的性能,还说明了引入的基于ConvGRU的时序建模模块能够有效的处理输入的连续视频序列,除此之外本论文还通过实验验证了所提出的基于双判别器GAN的视频超分辨率网络能够有效地消除对抗训练过程中产生的时域失真并使训练出的生成器能够重建出具更好视觉效果的视频。
其他文献
中国的苹果种植史可以追溯到两千多年以前,苹果的产量占世界总产量的40%以上。目前,苹果的分级主要是人工完成的,依赖于人的视觉来区分诸如颜色、形状、大小和缺陷等特征。这种人工分级的方法是主观的,不可重复且缓慢的。再加上其他人为因素,这种劳动密集型实践造成的身体疲劳,通常会使分级精度相当差。由此可见,自动化、高速、高效的苹果分级技术受到果农的青睐。显然,自动分拣技术可以克服传统的苹果人工分级的问题。苹
工业机器人是一种重要的自动化加工设备,高的绝对定位精度有助于推广工业机器人在高精密加工装配中的应用。传统基于模型的运动学标定方法对提高工业机器人的精度作用有限,所以需要寻求一种广义运动学误差标定方法,对那些导致工业机器人定位误差的几何参数误差和非几何参数误差进行标定,以降低工业机器人的定位误差,提高其绝对定位精度。为了寻找能使工业机器人的绝对定位误差大幅度减小的标定方法,本文进行串联工业机器人的广
涡轮发动机燃烧室等内部处于高温、高压、高腐蚀等环境,需要采用温度传感器对其内部进行实时的监测,这类传感器不仅需要能够应用于以上恶劣环境,还需要具备无线以及体积小的特点。目前温度测试技术的关键在于缺乏新的敏感元介质材料以及无线传感机制,本文提出了一种集开槽天线于一体的谐振腔式无线无源温度传感器。该传感器是采用先驱体转换PDC-SiBCN陶瓷为介质材料,银作为金属导体形成谐振腔,以开槽天线为传输线,实
在中国制造2025的大战略下,生产的智能化,自动化,逐渐的成为了当前制造业发展的主流趋势,工业机器人的应用更是在其中扮演了十分重要的角色。但目前工业机器人的从业者主要工业机器人关联行业的人员,在进入正常作业状态之前,仍需要进行大量的培训任务,虽然各高职、职业院校开设工业机器人专业以应对高速增加的社会职业需求,但目前的需求仍然无法被满足,主要原因是市场上常见的工业机器人实训系统,只能实现功能单一、任
卷积神经网络(Convolutional Neural Network,CNN)依靠复杂的结构和海量的参数在图像分类和目标检测等应用中展现出优异性能,但这也为CNN在计算资源和存储资源受限的边缘端硬件部署带来巨大挑战。模型压缩方法因能够减少CNN计算复杂度和尺寸,为CNN边缘端部署的资源优化提供了可行的解决方法。参数量化作为模型压缩方法的有效手段之一,通过使用较低位宽表示典型的32位浮点网络参数,
随着“天问一号”火星探测器成功发射,我国开始了对火星的探索。高分辨率的火星图像对研究火星地貌特征,分析火星表面的天气和气候具有重要意义。目前主流的图像超分辨算法是深度学习的方法,在效果上优于传统方法。但是,现如今的图像超分辨方法中,所用的低分辨率(LR)图像通常是由高分辨率(HR)图像经过一种理想的降采样方法得到的。使用这样的方法得到的LR-HR图像对进行训练后得到的模型在理想的数据集上测试,产生
卫星遥感技术具有极其广泛的应用场景,如变化检测、地物跟踪等。由于卫星遥感影像经常被普遍分布的云层所污染,这种云层遮挡现象给遥感应用带来困难与挑战。因此,云检测是许多遥感应用的先决条件,是卫星遥感图像分析的一个重要研究领域。现有云检测方法在薄云的检测以及明亮地表的判别上存在缺陷,本文主要通过研究基于深度学习语义分割的云检测算法,旨在提升云检测精度。在薄云的检测上,因为薄云体积小、分布稀疏、透明度高、
本课题主要针对多四旋翼飞行器协同路径规划问题进行分析研究和算法设计,论文主要工作如下:首先,给出所涉及的坐标系、坐标间的转换关系,建立四旋翼飞行器的运动学和动力学模型,将多无人机协同路径规划问题分解为目标分配问题和局部路径规划问题,并给出了两个子问题的数学描述。其次,研究多无人机目标分配问题,针对两种不同的信息约束条件,分别给出了集中式和分布式的目标分配算法。通过设计编码方式和交叉、变异、选择等算
机械手在人类的生产与生活中有着十分重要的作用与地位。桁架式可收展机械手因为可以折叠,所以有便于运输,占用空间小等优点。同时,又可以通过展开变成大尺寸姿态,实现更大的操作空间,抓取更大的目标。桁架式结构特点赋予机械手更大的刚度和抓取力。本文针对一种桁架式可收展抓取机械手,通过理论分析与联合仿真验证其抓取作业的可行性,并基于联合仿真结果进行优化设计,为后续样机制作提供理论依据。通过桁架式可收展机械手构
使用机器人装配电缆等柔性工件是进一步提高生产效率和降低人力成本的关键。许多工业领域已经实现了用机器人自动组装工件。由于像电缆、柔性电路板、密封圈这类柔性工件在受外力作用时容易发生形变,大部分情况下机器人无法预测和估计工件的变形或利用工件的变形来完成装配任务,因此在研究时主要对柔性体的避障方法进行研究。但在一些环境中无法避免柔性体与环境的接触,这就需要利用柔性体与环境接触的变形来完成装配任务。本课题