基于生成对抗网络的自然图像阴影去除研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:guoxuemei123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在自然图像中,阴影几乎是随处可见的。虽然阴影可以为我们提供物体位置和光照条件等信息,但同时也给许多图像处理任务带来了困难。为了降低阴影对图像处理的影响,使后续任务能够顺利进行,研究一种快速、有效的阴影去除算法就显得尤为重要。早期的阴影去除研究计算过程繁琐复杂且阴影去除效果均不理想。伴随着深度学习突飞猛进的发展,尤其是它在处理图像等海量数据时表现出的高性能和高效率,使得传统的阴影去除算法逐渐被深度学习方法所代替。生成对抗网络(Generative Adversarial Networks,GAN)的问世,更是为计算机视觉等领域注入了新的生命力。尽管如此,现有的阴影去除算法仍然由于阴影边界明显、图像细节恢复较差等问题而使得阴影去除效果得不到较高的提升。除此之外,由于阴影掩模的标注难度较高,目前可用的三元组阴影数据集数量较少,因而无法很好地对深度模型进行训练与评估。针对上述问题,本文主要做出了以下三点贡献。首先,为了更好地训练和评估模型,需要对现有的阴影数据集进行丰富和补充。为此,我们拍摄了一组阴影数据集,并用Photoshop对阴影掩模进行了标注,最后整理出一份新的三元组数据集TIDSR(Image Dataset Triplets for Shadow Removal)。其次,为了使图像处理更加精细化,进一步提升阴影去除效果,本文提出了融合多尺度与谱归一化判别的生成对抗式阴影去除模型SRNet(Shadow Removal Network)。多尺度判别模块在不同分辨率的图像上进行训练,对不同粒度的图像特征进行感知,从而在不同层次的细节上对图像进行恢复。同时,模型中也加入了谱归一化判别模块来对判别器的参数进行限制,以解决GAN训练不稳定的问题。最后,为了解决训练数据不匹配的问题,同时减少先验信息的使用,本文基于CycleGAN进一步构建阴影去除模型。原始的CycleGAN更多关注图像宏观特征,对细粒度的细节处理不到位。通过一系列实验和对比,我们最终提出不需要成对数据的无监督CycNet(Cycle Network for Shadow Removal)模型。CycNet中同样加入多尺度判别模块来对图像不同级别的细节特征进行提取和恢复,提升阴影去除效果。本文将提出的模型与现有的其他阴影去除模型的结果进行了定性比较和量化分析。实验结果显示,SRNet的阴影去除效果得到了进一步的提升,多尺度判别在提升阴影去除效果方面起到了极为重要的作用。CycNet在独立训练中取得了与SRNet接近的结果,在交叉训练中虽然效果略有下降,但是极大地降低了对训练数据的要求,为图像阴影去除研究提供了一个新的思路。
其他文献
刚升入高中的学生,在英语学习方面普遍存在着不适应,这在一定程度上与词汇量增多、语法点更为复杂、阅读难度加大、学生基础薄弱等因素有关。不管是在学习内容还是在学习方法
会议
目前我国中央和地方政府间事权与支出责任划分混乱,各地政府如何保持财政可持续问题亟待解决。文献表明同时满足我国经济增长和转型升级的大口径宏观税负区间是[22.48%,33.3%),且下限相对上限对经济增长和转型升级的促进作用更为有效。基于上述,本文将可持续发展约束宏观税负作为研究前提,以中部省份作为研究对象,对央地事权与支出责任进行理论层面划分,深入研究全口径财政支出规模变化对可持续发展的影响,并提
本文主要研究了三个方面的内容:一是在代数中,特别是半群中引入开放子集的概念,讨论半群的开覆盖和开放子集的基础性质,并且刻画了一些有限覆盖半群;二是利用群的双陪集分解
目的:通过对冠心病不同中医证型间总胆汁酸、胆碱酯酶、BMI、年龄及病程等指标的对比研究,探索冠心病中医辨证客观化方法。方法:收集符合冠心病诊断及纳入标准的冠心病患者110例,观察并记录患者一般基础资料,病史,血脂,胆汁酸,胆碱酯酶等信息,完成中医辨证,最后进行统计学分析研究。结果:1.纳入冠心病病例中,中医证型比例依次为痰瘀互结证43例(占35.2%),气虚血瘀证40例(占32.8%),气滞血瘀证
微波无线输能技术的发展,对RF-DC整流器的提出了越来越高的要求。整流器整流效率的高低,成为制约整个系统能量传输效率高低的关键。第三代半导体材料GaN,以其优异的电学特性使GaN HEMT成为理想的整流器件,基于GaN的RF-DC整流器研究逐渐成为热点。本文的主要工作有以下四点:(1)首先使用EEHEMT模型,对CREE公司型号为CG2H40010的第二代氮化镓高电子迁移率晶体管(GaN HEMT
犁旋一体机是一种把犁翻和旋耕功能结合在一起的性能良好的耕整及秸秆还田机械,可一次完成翻耕、旋耕、将地表秸秆翻埋入土实现秸秆还田等多道作业工序。耕后土壤细碎平整,作
聚合物驱是化学驱提高采收率技术中应用最广泛和最成熟的方法。随着石油资源的开发,油藏地质变得复杂,对驱油聚合物也提出了新要求。为了满足复杂的油藏条件,驱油聚合物逐渐
目的:探讨Wagner SL翻修柄治疗Vancouver B2及B3型股骨假体周围骨折的疗效及相关并发症发生情况。方法:回顾性分析2013年1月至2018年9月在新疆医科大学第一附属医院采用Wagner SL翻修柄翻修治疗的Vancouver B2及B3型股骨假体周围骨折病人共23例,其中Vancouver B2型股骨假体周围骨折的病人17例,Vancouver B3型病人6例。按照Paprosk
我国是人口大国,随着社会的进步与科技的发展,粮食的需求较以前成倍增长。目前精准种肥作业是保证粮食高产、稳产最重要的措施。为了使机具种肥作业信息化并达到高产高效的效
随着工业化的进程,重金属铅污染广泛分布于自然生态环境中,它们严重威胁环境安全和公共健康。如果长期生活在铅金属超标的环境中,会对人体神经系统、生长发育系统、心血管系