论文部分内容阅读
图像的运动模糊是一种基本的图像模糊类型。运动模糊图像通常分为均匀运动模糊图像和非均匀运动模糊图像,均匀运动模糊图像指模糊图像各像素点的模糊方式和模糊程度相同,即具有一个相同的模糊核。非均匀运动模糊图像指模糊图像各像素点的模糊方式和模糊程度均不确定,即具有不同类型或大小的模糊核。模糊图像盲复原是指在模糊核未知的情况下,从模糊图像中复原出清晰图像,这是一个严重的不适定性问题。针对均匀模糊图像盲复原,研究者开展了大量工作,提出了各有特色的模糊核估计和复原方法。而对于非均匀模糊图像复原,由于模糊核情况很复杂,现有的方法均存在较大的局限,大多数方法甚至失效。近年来,深度学习被广泛用于图像处理领域,包括模糊图像复原,它通过精心设计卷积神经网络,达到不需要估计模糊核,端到端地复原模糊图像的目的,为解决非均匀运动模糊图像复原问题带来新的思路。尽管目前基于深度学习的非均匀运动模糊图像复原方法也取得了一些成果,但这些方法都存在鲁棒性较差的问题。经过分析,其原因是没有有效地复原模糊图像的强边缘。本文针对非均匀运动模糊图像盲复原问题开展研究,重点研究模糊图像强边缘提取方法,设计端到端的基于强边缘提取的模糊图像盲复原网络。因此,本文提出方法不需要估计非均匀模糊图像的模糊核,可大大加快非均匀模糊图像复原的速度,且能达到较好的复原效果。
本文开展的主要工作如下:
①调研模糊图像复原国内外研究现状。分析非均匀运动模糊图像的特点及卷积神经网络基本方法。深入研究基于卷积神经网络的模糊图像复原方法。总结卷积神经网络用于非均匀模糊图像复原存在的主要问题及本课题的研究难点。
②提出基于边缘约束的非均匀运动模糊图像复原网络。该网络是基于生成对抗网络设计的,核心部分为生成器网络,它由边缘提取子网络和模糊特征提取子网络组成。边缘提取子网络,用于在梯度域提取模糊图像的边缘特征。由于梯度域特征包含模糊图像的边缘信息,有助于帮助和约束模糊特征提取网络,增强对模糊图像边缘的复原效果。模糊特征提取网络,用于提取模糊图像的模糊特征,完成模糊图像复原,最终输出复原的图像。
③提出基于强边缘提取网络的非均匀运动模糊图像盲复原方法。由于②中提出的基于边缘约束的非均匀运动模糊图像盲复原网络还存在较多不足,边缘特征提取方法不完善,网络设计简单,训练流程存在不合理之处。为了解决上述问题,本文进一步开展研究,提出基于强边缘提取网络的非均匀运动模糊图像盲复原方法。该方法也是基于生成对抗网络设计的端到端模糊图像复原网络,生成器网络由强边缘提取子网络、模糊特征提取子网络和特征融合子网络组成。强边缘提取子网络用于提取模糊图像的强边缘特征,滤除普通梯度图像中与强边缘无关的特征信息。模糊特征提取子网络使用本文设计的交叉特征提取模块加大网络感受野,提取模糊图像的模糊特征。特征融合子网络将提取的强边缘特征图与对应网络层特征图融合,约束网络的参数优化过程,借助卷积神经网络强大的特征自动学习能力,加强网络对不同类型、不同程度的非均匀运动模糊图像的自适应复原能力。
④设计并开展相关的验证实验。主要分为两部分:其一是验证提出的方法的有效性;其二是与目前优秀的传统方法和基于深度学习的非均匀运动模糊图像盲复原方法进行对比实验。通过实验证明,本文提出的基于强边缘提取网络的非均匀运动模糊图像复原方法速度快,复原质量高,鲁棒性强。
本文开展的主要工作如下:
①调研模糊图像复原国内外研究现状。分析非均匀运动模糊图像的特点及卷积神经网络基本方法。深入研究基于卷积神经网络的模糊图像复原方法。总结卷积神经网络用于非均匀模糊图像复原存在的主要问题及本课题的研究难点。
②提出基于边缘约束的非均匀运动模糊图像复原网络。该网络是基于生成对抗网络设计的,核心部分为生成器网络,它由边缘提取子网络和模糊特征提取子网络组成。边缘提取子网络,用于在梯度域提取模糊图像的边缘特征。由于梯度域特征包含模糊图像的边缘信息,有助于帮助和约束模糊特征提取网络,增强对模糊图像边缘的复原效果。模糊特征提取网络,用于提取模糊图像的模糊特征,完成模糊图像复原,最终输出复原的图像。
③提出基于强边缘提取网络的非均匀运动模糊图像盲复原方法。由于②中提出的基于边缘约束的非均匀运动模糊图像盲复原网络还存在较多不足,边缘特征提取方法不完善,网络设计简单,训练流程存在不合理之处。为了解决上述问题,本文进一步开展研究,提出基于强边缘提取网络的非均匀运动模糊图像盲复原方法。该方法也是基于生成对抗网络设计的端到端模糊图像复原网络,生成器网络由强边缘提取子网络、模糊特征提取子网络和特征融合子网络组成。强边缘提取子网络用于提取模糊图像的强边缘特征,滤除普通梯度图像中与强边缘无关的特征信息。模糊特征提取子网络使用本文设计的交叉特征提取模块加大网络感受野,提取模糊图像的模糊特征。特征融合子网络将提取的强边缘特征图与对应网络层特征图融合,约束网络的参数优化过程,借助卷积神经网络强大的特征自动学习能力,加强网络对不同类型、不同程度的非均匀运动模糊图像的自适应复原能力。
④设计并开展相关的验证实验。主要分为两部分:其一是验证提出的方法的有效性;其二是与目前优秀的传统方法和基于深度学习的非均匀运动模糊图像盲复原方法进行对比实验。通过实验证明,本文提出的基于强边缘提取网络的非均匀运动模糊图像复原方法速度快,复原质量高,鲁棒性强。