论文部分内容阅读
高分辨率显示设备近年来蓬勃发展,如4K(4096 2160),8K(7680 4320)和10K(10240 4320)电视机,2K(2560 1440)和4K手机等相继出现在日常生活中。但由于高分辨率视频资源的缺乏以及存储和传输高分辨率视频给当前系统带来的沉重负担,人们并非总能得到高清晰度的视频。为了在高分辨率显示设备上充分提升视觉体验,视频超分辨率算法的研究显得非常重要。超分辨率技术是将来自相同场景的单幅或多幅低分辨率图像经过一定的算法提升到高分辨率,使得到的图像具有更高的像素密度,更多的细节信息以及更细腻的画质。该技术不仅能够克服硬件系统的局限,扩大工程应用的范围,还能大大减少成本花费,非常值得深入研究与探索。当超分辨率算法应用于视频图像时,不仅会利用当前帧的信息,还会根据视频图像的特性,利用相邻帧之间的冗余信息来恢复出当前帧的高频部分。由于附加的运动估计以及多帧信息融合问题,视频超分辨任务本质上更为困难,因此并不像单幅超分辨那样被广泛研究。本文的研究工作就主要围绕以上两个问题展开并主要研究了卷积神经网络这一新兴技术在视频超分辨率中的应用,本文的研究工作主要包括:1.详细分析了现有的基于卷积神经网络的单幅图像超分辨率模型SRCNN以及其改进加速版本FSRCNN。在此基础之上结合视频图像的特性,提出了三个基于CNN的视频超分辨率模型并进行对比分析。2.当视频中出现较大运动以及运动模糊时,运动补偿变得困难,超分辨率重建图像也可能会因此出现一些不理想的边界效应或人工伪影,针对这一问题引入自适应运动补偿策略,以减少由于相邻帧的错误配准而对超分辨重建效果的影响。3.将训练好的单幅图像超分辨参数模型加以修改,然后运用于将要训练的视频超分辨率模型的初始化,进一步提高模型的训练效率与准确性。4.将基于CNN的光流估计方法用于所提的视频超分辨率模型的运动补偿部分,提出一个改进的加速模型,进一步提高模型的执行效率。通过与现有超分辨方法的对比分析可以看到,本文所提视频超分辨率模型从主观评价与客观评价方面来看都具有较好的超分辨效果。对其进一步改进的加速模型也能在不牺牲视频超分辨质量的情况下,大大缩短运行时间,这也为进一步实现视频图像的实时超分辨提供了希望与可能。