基于连续雨强先验和循环一致性的单幅图像去雨

来源 :武汉大学 | 被引量 : 0次 | 上传用户:daimao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像去雨旨在去除含雨图像中的雨线并恢复干净的背景,在室外监控、自动驾驶等领域具有重要应用价值。近些年,以神经网络为核心的深度学习技术大大促进了图像去雨的发展。目前大多数去雨算法通过设计优秀的去雨网络,在合成雨图中取得了显著的效果,但是当应用于真实场景时,仍存在一些问题:(1)忽略雨水的先验信息,导致算法对不同类型的雨线鲁棒性较差;(2)缺少对应的真值参考图像,导致真实雨图的去雨结果主要依赖于定性分析,无法进行定量评估;(3)网络训练基于合成数据,导致去雨网络在真实场景中泛化性较差。本文将针对上述问题给出解决方案,并通过实验验证其有效性和优越性。研究内容与贡献总结如下:(1)针对“降雨先验”问题,考虑到真实场景中降雨状态的连续性,本文提出一个连续雨强引导的图像去雨网络(CODE-Net):(i)在传统卷积稀疏编码中引入权重参数,用于调整稀疏表达的稀疏度并同时反映雨强信息;(ii)加权CSC的求解则借助于Deep Unfolding技术,即将传统的迭代过程展开为有限的神经层并端到端训练整个网络。此外,考虑到拍摄距离不同,雨线具有多尺度外观,本文又采用多尺度字典对雨线进行稀疏分解并提出多尺度CODE-Net(mCODE-Net)。相比于现有的深度学习方法,本文所提网络推导于传统的稀疏模型并且整合了连续雨强先验,因此具有更好的可解释性和鲁棒性。(2)针对“结果评估”问题,基于加权卷积稀疏编码模型及其可学习权重,通过分析权重参数与雨强大小的关系,本文提出一个简单有效的雨强估计方法(RDE),RDE可以对输入图像的降雨程度进行连续状态的量化估计,换言之,RDE可以定量反映去雨结果的干净程度。不同于常用的定量评估方法(PSNR、SSIM等),RDE无需标签图像,可直接定量评估去雨效果。(3)针对“泛化性”问题,本文在监督模型基础上,将大量真实雨图引入训练过程,提出基于循环一致性的半监督去雨框架,该框架允许网络使用合成数据学习去雨以降低训练难度,同时借助未标记的真实数据来提高泛化性。具体而言,由于真实雨线与合成雨线存在相似性,循环一致性可以在稀疏空间对两种模态数据进行分布对齐,迫使网络学习公共特征,避免网络过于学习合成雨线的特定分布,提高网络在真实场景的泛化性。(4)实验部分验证了连续雨强估计的有效性,可以隐式地考虑雨强先验和评估无标签图像的去雨结果,而且验证了此模块有助于提升其他去雨算法的去雨性能。而后又将本文算法与当前主流去雨算法进行对比,在大量真实与合成数据上验证了本文算法的有效性和优越性,定量与定性结果均有明显提升。此外,还验证了本文算法有助于其他图像复原和目标检测任务。
其他文献
【目的】探讨妃子笑、怀枝、桂味和糯米糍的最适宜末次秋梢成熟期和现“白点”期,为荔枝控梢促花管理提供生物学指引。【方法】于2009—2021年跟踪调查妃子笑、怀枝、桂味和糯米糍品种的关键物候期、成花枝率和坐果量,利用箱线图、小提琴图、T检验、Pearson相关等方法对数据的分布、差异显著性和相关性进行分析,并研究荔枝秋梢期、现“白点”期与成花和坐果之间的关系。【结果】4个品种共获得522组数据。桂味
期刊
颖壳作为水稻种子的重要外部器官,不但影响着籽粒的大小和品质,还起有抵御病虫害、规避鸟类猎食等重要的生物学功能。栽培稻颖壳多呈现黄色,而野生稻的颖壳通常含有黑色素并呈现黑色,黑壳性状也常被认为是野生稻的典型特征之一,但水稻黑壳向黄壳驯化的遗传机制并不清楚。为此,前期本课题组以巴利拉(Balilla)和绵恢725(MH725)为亲本,采用遗传群体构建及基因定位分析筛选到了两个与前人鉴定到的OsBh4和
学位
多源遥感图像融合技术是指将来自多个传感器的不同种类数据进行组合来提供更全面的信息,以便于提高在应用场景中的精度。本文围绕多光谱图像融合和高光谱图像融合进行了深入研究。多光谱图像融合技术将低空间分辨率的多光谱图像(Multispectral Image,MSI)和高空间分辨率的全色图像(Panchromatic Image,PAN)融合,来获得具有高空间和光谱分辨率的MSI。高光谱图像融合技术则通常
学位
自夸克模型提出以来,重子qqq模型对解释强子结构提供了有力的解释。夸克模型预言Δ*(Δ粒子的激发态)粒子为35种,我们对这些粒子了解的比较少,至今有一部分Δ*粒子还没有被观测到。目前实验上利用πN和γN散射数据,用多轨道分波分析的方法进行研究,寻找Δ*粒子和测量Δ*物理信息。通过研究粲偶素衰变来了解Δ*的产生和衰变机制的几乎没有。粲夸克偶素衰变是研究重子激发态的理想场所。粒子物理实验中发现的第一个
学位
<正>随着科技的不断发展,电子产品已成为家家户户的必备品。也就是说,孩子一出生便会受到各种电子产品的吸引。因此,幼儿园进行近视防控是时代发展的必然趋势,因为幼儿的戴眼镜普遍率越来越高。通过近视防控策略,可有效解决这一问题,可以让幼儿健康地成长与发展。作为幼儿园的工作人员,作为幼儿成长路上的引路人,教师有责任与义务进行近视防控。但是,近视防控并不是说防控就能防控的,而是需要一定的方法,所以下列对近视
期刊
光合作用是地球上最重要的生物化学反应,光合作用的强弱直接影响生物的产量。水稻作为四大主粮作物之一,在灌浆期极易遭受高光强胁迫。先前的研究主要集中于光能高效吸收、传递与转化的调控过程与其分子机理,而对水稻在高光强胁迫下如何耗散过剩能量,如何启动自身的光保护机制与光修复机制的报道较少。因此,探究水稻在高光强胁迫下的响应机制对高光效育种具有重要意义。本研究以梗稻品种日本晴为受体材料,采用CRISPR/C
学位
棉花是世界上重要的经济作物之一,棉纤维、棉籽等作为原材料在纺织、油料等领域应用广泛。棉花本身不仅是研究植物异源多倍化的模式生物,同时也是研究细胞伸长、植物基因组进化的良好模式作物。其中,陆地棉(n=2x=26,AD1)的种植面积最大,而亚洲棉(n=x=13,A2)作为陆地棉可能的祖先A0的后代,也具有重要的研究价值。根据最新组装的基因组数据,陆地棉中转座元件含量占到了64.06%,亚洲棉中该比例更
学位
重金属镉和抗生素磺胺是畜牧业中常见的污染物,在养殖废水中经常同时存在,水体中抗生素与重金属相互作用,对水生植物产生显著的毒性,因此研究抗生素与重金属的联合污染风险在环境毒性评估方面有着重要的意义。本文研究了两种沉水植物苦草(Vallisneria natans(Lour.)Hara)和黑藻(Hydrilla verticillata(L.f.)Royle)在14天磺胺(0.1、0.5、1、2.5、
学位
随着工农业的快速发展,大量除草剂和杀菌剂被投放到农田中。这些化学试剂随着农业用水汇入江河湖泊,将对水生生态系统造成极大威胁。硝磺草酮是近年来新兴的三酮类除草剂,铜作为各类杀菌剂的主要成分在农业中广泛使用,二者在环境中共存易造成复合污染,然而硝磺草酮和铜对水生植物的单一及联合毒性尚不清楚,在水生生态系统中的复合污染类型未知。本文利用水培法,探究水生植物苦草(Vallisneria natans(Lo
学位
随着图像拼接的应用范围越来越广,复杂场景下的图像拼接成为研究的热点。目前的研究方向主要分为传统图像处理算法方向与深度学习算法方向。这些算法都围绕图像拼接的基本框架进行改进与创新。图像拼接基本框架包含图像对齐、图像融合两个阶段。本文也围绕图像对齐与图像融合分别对传统图像处理算法与深度学习算法提出了改进。在传统图像处理方向,本文提出了两个改进。图像对齐模型从最初的全局单应矩阵发展为受一定约束的网格变形
学位