论文部分内容阅读
干净的图像可以为视频监控、目标追踪、目标检测、自动驾驶提供有保证的输入信号,保证这些任务可以正常运行。然而,雨是日常生活中常见的天气,在雨天拍摄的图像严重降低了视觉效果,这也可能导致那些视觉任务失败工作。因此,从有雨图像从复原出清晰图像是一个有待解决的问题,雨天的下雨的雨线形状、大小、方向的不同也导致图像去雨是一个极具挑战的问题。所以,有效的去雨算法应该被提出。本文从多个角度解决单幅图像去雨问题。1)考虑到空间上下文信息对去雨的重要性,我们提出一个更有效的去雨单元解决单幅图像去雨问题。在此去雨单元中,我们分别利用了扩张卷积和挤压-激励操作,以分别获得更多的空间上下文信息和通道间语义关联性。基于带有不同因子的扩张卷积可获得不同层次的特征,我们将其融合以提出雨纹的主要特征。挤压-激励操作可自适应地为每个通道分配权重来获取通道间的语义关联。最后,我们通过密集连接的将多个去雨单元连接起来以使得不同层次的特征信息流动最大化。我们设计的去雨单元和密集的连接使我们的网络具有较强的雨线表示能力。2)在真实世界的有雨图像中,现存的去雨算法通常遗留着大量的雨线,这样的算法很难被接收。基于这样的观察,我们认为,一个好的去雨算法应该可以处理被该算法处理过的去雨图像,直到所有雨线被移除。这个思想是很直观且符合常理的,因此,我们设计了一个从粗到细的多阶段去雨算法,并在每个阶段共享参数(这保证每个阶段的去雨算法是一致的)。针对空间上下文信息对单幅图像去雨的重要性,提出了一种密集连接的扩张卷积块来处理不同大小的雨线。此外,外部密集连接通过融合所有之前估计的无雨图像来指导后续的去雨过程。这样巧妙的设计使得我们提出的算法具有极少的参数,同时在真实有雨图像上得到了先进的结果。3)多尺度已经很好地应用到了很多视觉领域,然而在单幅去雨问题上,研究者通常只考虑一种多尺度:多尺度核或者多尺度图。本文提出了一种新的单图像去雨网络,该网络包括两个模块:多尺度核去雨层和多尺度特征图去雨层。具体地说,由于空间上下文信息对于单幅图像的解雨非常重要,我们发展了一个多尺度核的去雨层,它可以利用具有不同大小感受野的多尺度核进一步捕获上下文信息,并融合这些特征来获取主要雨条纹结构。此外,我们通过统计不同尺度下的雨的特征图,论证了不同尺度的卷积层具有相似的结构,这个性质使得我们用相同的操作处理这些多尺度图。因此,基于上面的讨论,我们使用具有共享参数的多尺度核去雨层来处理不同尺度的雨条纹信息,我们将此操作称为多尺度特征图去雨层。最后,我们使用密集的连接来连接多尺度的特征图去雨层,以最大限度地提高不同层次特征的信息流。4)以往的研究方法忽略了具有不同接受域的不同层次之间的相关性,这丢失了大量的重要信息。为了更好地解决这一问题,我们提出了一个多级指导残差块,它构成了我们网络的基本单元。在这个块中,我们利用多层次的扩张卷积来获得不同的感受野,然后将感受野较小的卷积层来指导较大感受野的学习。这样设计的指导残差块被论证是比跳跃连接更有效的连接方式。此外,为了减小模型尺寸,所有指导残差块之间共享参数。我们论证了不同块间的参数共享是可行的,这为以后的小模型去雨提供了实验基础。5)多尺度方法已经应用于许多计算机视觉问题中,取得了较好的效果。然而,在大多数方法中,不同尺度之间的相关性尚未得到探索。从这个缺点出发,我们提出了两种尺度导向块,并在这两种块之间建立了两种组合来连接不同尺度之间的相关性。a,小尺度指导大尺度;b,大尺度指导小尺度。在此基础上,我们提出了一种基于LSTM的递归网络的去雨方法。