论文部分内容阅读
运动模糊是最常见的模糊类型之一。在拍摄过程中,如果摄像机和物体发生相对运动并且此时摄像机快门较慢时,就会造成运动模糊。运动模糊会影响图像观感,并且会造成图像信息丢失从而对后续诸多算法造成精度下降等影响。由于运动模糊的广泛存在以及目前模糊复原算法仍然无法很好地复原图像,如何从严重模糊的图像中复原得到清晰图像仍然是图像处理领域一个热门研究方向。近几年利用深度学习算法进行模糊图像复原的研究也取得了一些成果。本文开展了基于生成式对抗网络的运动模糊图像复原的研究,主要研究内容包括:(1)论述了传统模糊图像修复算法以及基于深度学习的模糊图像复原算法的发展进程和存在问题,详细描述了深度学习以及基于生成式对抗网络的运动模糊图像复原算法的原理。(2)提出了基于增强型生成式对抗网络的运动模糊图像复原算法。利用缩放卷积(resize convoluation)替代反卷积作为图像上采样策略,有效地消除了过去基于卷积神经网络进行运动模糊图像复原的方法中由于反卷积不均匀重叠而造成的棋盘效应问题;利用压缩激励网络可以提取特征通道权重的特性,将压缩激励网络与残差网络结合为压缩激励残差网络模块(SE-ResBlock);采用多维度的损失函数设计,使得网络最终损失函数能够同时对比像素级别、高维特征级别以及梯度域的图像差异,有效优化了算法去除运动模糊的能力。(3)提出了基于多帧图像和三维变形卷积的运动模糊视频复原算法——VDGAN。由于连续视频图像除了帧内信息外,还包含了大量的帧间信息,上下帧之间通常存在关联。当输入为视频图像时,增强型生成式对抗网络没办法利用多帧信息帮助运动模糊图像复原。因此,可以将当前帧与其前后各2帧图像共同作为输入,利用网络模型最终合成的一帧特征图与当前帧的叠加作为最终输出,VDGAN能够有效地利用多帧信息来提高运动模糊图像复原;此外,提出了三维变形卷积,通过立体变形的采样网格,三维变形卷积能够有效地提取视频图像中的时空信息,并且可以对由于运动模糊而造成的视频图像物体特征形变更好地进行建模,改进了二维标准卷积的不足。(4)针对已提出的模型算法进行模型轻量化处理。深度学习优越的性能很大程度是依赖于深度网络庞大的参数量,但是同时也带来了很多问题,例如计算资源需求大、计算时间长、模型磁盘占用空间多、深度网络的运算成本相对较高等问题。为了有效解决这些问题,提出了将网络模型进行轻量化处理,降低网络参数量等加速方法,提升了网络效率。