基于GAN的单图像材质恢复和高光去除算法研究

来源 :浙江理工大学 | 被引量 : 1次 | 上传用户:sclin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
真实世界图像中包含的丰富信息可以分解为材质,纹理,几何以及光照等。其中材质属性可用于重建虚拟世界中的场景,或应用于新场景以生成新的逼真图像;而纹理信息可以提高图像应用的精度与效率。近年来深度学习在计算机图形学与视觉领域的显著进展为图像内容分解带来了新的解决思路,其中生成对抗网络(GAN)已经逐渐发展成为主流的图像生成模型。本文主要研究GAN在图像内容分解方面的两个具有代表性的应用:单图像材质恢复和单图像高光去除恢复纹理。基于GAN的单张图像材质恢复算法。现有基于学习的方法大多只考虑图像中每个像素的损失,这限制了其恢复局部特征如局部光滑区域的能力。另一些基于GAN的方法对不同的材质参数使用了多个对抗损失,从而增加了网络的复杂性。本文提出了一种新的端到端GAN框架,为材质参数设计了一个统一的对抗损失。同时,引入了一个考虑了多尺度特征的注意力模块来更好的提高材质贴图的全局质量与局部细节。此外还结合了材质贴图损失来抑制对高光的过度关注。与多个最近的先进算法进行定量定性比较证明了本文算法的优越性。多项消融实验证明了本文设计的网络结构的有效性。本文还开发了一个实时渲染引擎来验证本文方法的实用性。基于GAN的单张图像高光去除算法。现有方法大多基于双色反射模型,但这些方法对于真实场景图像的高光去除效果较差,结果会有伪影并且无法区分高光与纯白颜色的差异。本文提出了基于GAN的单图像高光去除方法,可以实时生成去除高光之后的漫反射图像,有效保留了图像的纹理信息。为了更好的训练网络,本文创建了一个大规模的合成数据集来增加先验知识。通过添加微调模块提高生成结果的精度,还引入了感知损失来提高图像的感知质量。实验结果表明本文提出的方法在合成和真实数据上表现更优。通过多个消融实验证明了本文网络结构的有效性。本文提出的两种新的生成对抗网络模型算法可以有效解决图像内容分解问题,提高了材质参数估计的准确性和图像高光的去除效果,具有一定的实际应用价值。
其他文献
磁共振成像(Magnetic Resonance Imaging,MRI)是利用磁共振原理,从物体或组织中采集电磁信号后重构出图像的成像方法。MRI有着成像分辨率对比度高、安全性较好等诸多优点,因而在临床检查和诊断中得到了广泛使用,帮助了无数医生和患者。然而,MRI检查的时间过长,且要求患者在此期间不能活动,这对一些特殊患者是不现实的。传统的MRI重构方法包括并行成像和压缩感知,而这些方法或需要提
学位
马克思主义理论博大精深,马克思主义刑罚思想在其中占据着举足轻重的地位。尽管马克思、恩格斯本人非专业刑法学出身,甚至没有出过一本专门针对刑罚的著作。但是,他们在论及刑罚问题时,对刑罚问题的阐述却是鞭辟入里,发人深省,并且成为后世许多马克思主义者的重要研究对象。在论文的基本架构上,本文首先梳理总结了国外马克思主义刑罚思想。这一部分笔者从经典的马克思、恩格斯的刑罚思想切入,进而梳理分析了列宁的刑罚思想。
学位
水下仿生机器人是人类探索海洋、利用海洋的一个重要工具。真实的水下环境是一个复杂多变且建模困难的动态环境,尤其是在海底狭窄洞穴、珊瑚礁、海底暗流等复杂环境下,对水下仿生机器人的游动稳定性提出了很高的要求。本文以自然界中的河狸为研究对象,设计制造了仿河狸单腿机器人、仿河狸双足游动机器人。并且,以此为运动控制平台,结合强化学习、深度强化学习算法,在不建立关于仿河狸游动机器人复杂运动控制与水动力模型的情况
学位
随着乘客电梯服务年限的增加其运行性能会逐渐下降,对乘客电梯开展性能评价,可有效降低电梯事故,避免重大经济损失甚至人员伤亡的发生。电梯现行的标准和规范主要凭借日常维保和定期检验来确保电梯的运行性能。维保和检验的条目中存在的定性指标较多,无法量化电梯的运行状态,且当前对所有电梯采用相同的检修间隔,检修缺乏针对性。基于电梯运行状态数据开展性能评价逐渐成为研究热点,开展电梯性能评价对降低电梯事故率、提高乘
学位
近年来,随着绿色理念的普及,消费者开始思考如何有效处置闲置服装。在此背景下,能够为消费者提供服装交易服务的二手闲置平台,受到消费者的追捧,在全球范围内获得爆发式增长。然而,在二手闲置平台蓬勃发展的同时,平台质量问题频频爆出,如,售后服务不佳、服装售假、安全机制未健全等等,导致用户消费信心降低。因此,如何打造高质量的二手闲置平台,重建用户信心,促进二手服装交易,成为现阶段亟待解决的问题。基于此,本研
学位
目前,由光学腔与机械振子组成的系统是研究最多的量子光学系统之一,该系统在科学技术的许多领域得到了广泛的应用,特别是在非线性光学、量子光学和光信息储存等学科领域具有实际应用价值。一般情况下,机械振子不可避免地与周围的热环境耦合,环境中的热噪声掩盖了它的量子力学行为。因此,对机械振子进行量子基态冷却是观察量子非线性现象的必要条件,如量子态的叠加、压缩和纠缠。在本文中,我们以机械振子的基态冷却为主,研究
学位
对联是一种独具特色且历史悠久的中国传统艺术,对联的艺术形式严谨,要求上下联字数相同,语义相对,语调的平仄协调。随着深度学习在自然语言领域中的发展,针对汉语的文本生成任务也得到了更多的关注,其中,中国传统对联的下联生成任务是一项极具创新性的研究。与对话系统、机器翻译、诗歌生成等任务不同,下联生成任务不仅需要得到有效的输出,更需要输出下联与输入上联之间满足字数、语义、语调等要求。现有下联生成方法存在如
学位
流量劫持行为是指通过技术手段强制或诱导用户访问至特定网页的行为,这种行为不但会对用户的上网自主权造成损害,还会对计算机信息系统安全造成巨大威胁。流量劫持行为在2015年首次入刑,被认定为破坏计算机信息系统罪。此后,司法实践中还出现了以非法控制计算机信息系统罪、非法获取计算机信息系统数据罪、诈骗罪等不同罪名定性流量劫持的判例,可见实践中对流量劫持行为刑事定性存在着争议。而争议背后的原因在于对复杂多样
学位
示教系统是现代工业机械臂中重要组成部分,示教系统的开发一直都是工业机械臂行业的研究热点,对此国内外的行业龙头都有成熟的实现方案,但是厂商的技术都需要保密,所以有必要根据具体的需求来设计新的方案。本文依据课题来源方提出的需求,开展了工业机械臂示教系统软件的设计与实现工作。示教系统的开发目标包括两款软件,其中一款是示教器软件,它负责连接工业机械臂控制器进行在线示教的工作;另一款是机械臂三维仿真软件,基
学位
随着科学技术的不断进步,我国各行各业和社会经济得到了快速发展,服装产业也产生了日新月异的变化。服装产业的转型升级对绣花机的研发提出了更高的要求,因此,研究绣花机械装备及其关键技术,具有十分重要的科学意义和应用价值。本文以绣花机底线勾线机构为研究对象,针对目前绣花机大多是利用面线直针与底线旋梭配合运动形成锁式线迹来进行工作,而旋梭体积小、存线量有限,底线用完时须停机更换,影响生产效率、增加劳动强度的
学位