图像去雨的深度模型

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:tttde123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
干净的图像可以为视频监控、目标追踪、目标检测、自动驾驶提供有保证的输入信号,保证这些任务可以正常运行。然而,雨是日常生活中常见的天气,在雨天拍摄的图像严重降低了视觉效果,这也可能导致那些视觉任务失败工作。因此,从有雨图像从复原出清晰图像是一个有待解决的问题,雨天的下雨的雨线形状、大小、方向的不同也导致图像去雨是一个极具挑战的问题。所以,有效的去雨算法应该被提出。本文从多个角度解决单幅图像去雨问题。1)考虑到空间上下文信息对去雨的重要性,我们提出一个更有效的去雨单元解决单幅图像去雨问题。在此去雨单元中,我们分别利用了扩张卷积和挤压-激励操作,以分别获得更多的空间上下文信息和通道间语义关联性。基于带有不同因子的扩张卷积可获得不同层次的特征,我们将其融合以提出雨纹的主要特征。挤压-激励操作可自适应地为每个通道分配权重来获取通道间的语义关联。最后,我们通过密集连接的将多个去雨单元连接起来以使得不同层次的特征信息流动最大化。我们设计的去雨单元和密集的连接使我们的网络具有较强的雨线表示能力。2)在真实世界的有雨图像中,现存的去雨算法通常遗留着大量的雨线,这样的算法很难被接收。基于这样的观察,我们认为,一个好的去雨算法应该可以处理被该算法处理过的去雨图像,直到所有雨线被移除。这个思想是很直观且符合常理的,因此,我们设计了一个从粗到细的多阶段去雨算法,并在每个阶段共享参数(这保证每个阶段的去雨算法是一致的)。针对空间上下文信息对单幅图像去雨的重要性,提出了一种密集连接的扩张卷积块来处理不同大小的雨线。此外,外部密集连接通过融合所有之前估计的无雨图像来指导后续的去雨过程。这样巧妙的设计使得我们提出的算法具有极少的参数,同时在真实有雨图像上得到了先进的结果。3)多尺度已经很好地应用到了很多视觉领域,然而在单幅去雨问题上,研究者通常只考虑一种多尺度:多尺度核或者多尺度图。本文提出了一种新的单图像去雨网络,该网络包括两个模块:多尺度核去雨层和多尺度特征图去雨层。具体地说,由于空间上下文信息对于单幅图像的解雨非常重要,我们发展了一个多尺度核的去雨层,它可以利用具有不同大小感受野的多尺度核进一步捕获上下文信息,并融合这些特征来获取主要雨条纹结构。此外,我们通过统计不同尺度下的雨的特征图,论证了不同尺度的卷积层具有相似的结构,这个性质使得我们用相同的操作处理这些多尺度图。因此,基于上面的讨论,我们使用具有共享参数的多尺度核去雨层来处理不同尺度的雨条纹信息,我们将此操作称为多尺度特征图去雨层。最后,我们使用密集的连接来连接多尺度的特征图去雨层,以最大限度地提高不同层次特征的信息流。4)以往的研究方法忽略了具有不同接受域的不同层次之间的相关性,这丢失了大量的重要信息。为了更好地解决这一问题,我们提出了一个多级指导残差块,它构成了我们网络的基本单元。在这个块中,我们利用多层次的扩张卷积来获得不同的感受野,然后将感受野较小的卷积层来指导较大感受野的学习。这样设计的指导残差块被论证是比跳跃连接更有效的连接方式。此外,为了减小模型尺寸,所有指导残差块之间共享参数。我们论证了不同块间的参数共享是可行的,这为以后的小模型去雨提供了实验基础。5)多尺度方法已经应用于许多计算机视觉问题中,取得了较好的效果。然而,在大多数方法中,不同尺度之间的相关性尚未得到探索。从这个缺点出发,我们提出了两种尺度导向块,并在这两种块之间建立了两种组合来连接不同尺度之间的相关性。a,小尺度指导大尺度;b,大尺度指导小尺度。在此基础上,我们提出了一种基于LSTM的递归网络的去雨方法。
其他文献
随着互联网用户量的激增,使得网络中数据量飞速累积且数据格式也随之增多,搜索引擎成为了处于大数据背景下的网络用户获取所需信息的主要手段之一。但对于拥有不同专业背景的
药物不良反应(Adverse Drug Reactions,简称ADR)指患者在使用药物之后,对其造成的生理影响甚至引发的身体损伤。目前,越来越多的患者因服用药物会产生一系列的药物不良反应,
近年来海上突发事件的频繁发生,所带来的海洋环境与生态资源的污染正在全球范围日趋严重,海洋环境突发污染事件带来的环境污染影响已经引起了各个国家的高度重视,海洋环境的
随着IT技术的快速发展和移动智能终端的普及,身份认证逐渐渗透到人们日常生活中的各个角落。作为身份认证技术的重要研究领域,生物特征识别借助指纹、人脸和虹膜等人体固有生理特征进行身份验证,是连接自然人与科技社会的重要纽带。相比传统的身份认证方式,基于生物特征的身份认证具有便捷、唯一、可靠等诸多优势,被广泛应用于公安、金融以及电子商务等各个领域。然而,生物特征身份认证在为人们的生活提供便利的同时,也带来
随着人工智能时代的到来,计算机视觉作为人们日常生活的一种辅助工具,其作用也愈发的重要起来。目标检测在计算机视觉中是最切近人们日常生活的一个分支,近些年来更是在各个
随着经济发展速度的进一步加快,中小企业在发展的过程中对融资效率的重视程度有所提升,参与研究融资效率的专家也逐渐增多。但中国与西方国家不同,在发展资本市场的过程中起
近两年提出的CornerNet与CenterNet等无锚框一阶段目标检测方法,因为具有模型简单和一个真值对应一个正样本的特点受到关注.但由于正负样本与难易分样本不均衡和多个头部网络
当学生对新知识的理解与科学概念不一致时,会出现对概念的误解,称为“misconception”,或“迷思概念”。迷思概念的隐藏性和顽固性,导致学生对概念的认知总是出错。通过概念
研究政策过程是考察我国政府内部运作逻辑的重要窗口,有利于政府服务能力和治理能力的提升。政策过程中,由于部分环节是在政府内部进行,公众并不能直接观察、了解其内部结构
随着信息技术在人们日常生活中的广泛应用,文本信息正以指数形式增长,如何对海量文本信息进行有效管理,进而快速了解文本信息的价值成为了研究的焦点。其中,文本表示和文本分