基于生成对抗网络的图像修复算法研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:wcfsoa2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像修复(Image inpainting),是指利用图像已知区域中的像素信息,对缺失区域进行填补修复的过程。图像修复是图像处理中一个经典的且具有挑战性的课题,在图像编辑、图像合成、基于图像的渲染和计算摄影等领域有着广泛的应用。目前图像修复算法面临的挑战,一是生成准确的整体结构,另一个是合成生动的纹理细节,使得修复后的图像在视觉上真实合理。传统的图像修复算法的修复效果随着缺失区域面积的增加而直线下降,并且修复结果存在图像模糊和缺乏视觉连贯性等问题。近年来,基于深度学习的图像修复算法取得了良好的效果,然而它们通常会生成带有明显人工边界、扭曲结构或模糊纹理的内容。因此研究可以生成准确全局结构和生动的纹理细节的图像修复算法就具有十分重要的意义。许多学者提出了多种方法来解决图像修复问题,本文在前人的基础上采用生成对抗网络来实现图像修复工作,具体如下:第一,利用小波域的注意力机制提取图像特征,提出了一种对抗性的图像修复方法。本模型的构建是在生成对抗网络基础上,其中生成器网络部分采用Unet++结构,判别器网络部分采用Patch GAN结构。首先利用小波变换理论将图像修复任务转换为小波域进行,有利于提取图像已知区域的特征,并将其分解为多频子带进行深层信息的提取和传递;其次使用注意机制增强小波域中各个层次的多频子带捕获重要信息的能力;最后联合对抗性约束、重建约束和纹理约束共同进行模型的训练。实验表明,本章方法不仅可以合成全局一致的图像结构,还可以在缺失区域生成生动的纹理细节,在中心矩形缺失区域中获得了比当前主流算法更好的主观结果和客观结果。第二,利用概率推理模型推测多频子带图像特征分布,提出了一种对抗性的图像修复方法,针对低频语义结构和高频细节纹理两种不同频率信息对图像修复问题进行了研究。首先,利用小波变换理论将图像修复任务转换为小波域进行,通过推理网络中的不同路径提取完整图像的低频语义内容特征和高频纹理特征,针对地处理不同频率的信息而不受其他频率信息的干扰;其次,在生成网络中将受损图像分解为多频子带,利用推理网络估计的低频和高频特征分布,进行不同频率子带图像的修复工作;最终,两条网络并行训练,将补全的多频子带合成最终的修复图像。实验表明,相比于主流算法,该模型能够获得更加丰富的高频纹理细节和更准确的低频语义结构,并且适用于规则和不规则的多种缺失区域的图像修复工作。
其他文献
目的:伴中央颞区棘波的良性儿童癫痫(benign epilepsy with centrotemporal spikes,BECTS)是最常见的儿童癫痫综合征,尽管BECTS患儿具有良好的预后,但越来越多的研究指出BECTS患儿通常表现出一定程度的脑功能障碍。本研究的目的是探讨BECTS患儿发作间期从低频到高频的神经磁活动,通过区分有无发作间期癫痫样放电(interictal epileptifo
传统能源给人们带来美好物质生活的同时也造成了全球气候的恶化,解决这个难题的关键是开发出可以替代传统能源的新能源产品。新能源企业技术要求高和研发风险性高等特点严重阻碍了我国新能源产业的进程,因此我国制定了很多针对新能源企业的补贴政策推动其快速发展。在我国政府直接补助和税收优惠是政府补贴中激励企业创新,最主要的两种手段。然而不同的激励手段在调动企业进行研发创新时起到的效果具有显著不同。同一种激励政策对
近年来,内蒙古电力集团有限责任公司党委宣传部深入学习贯彻习近平总书记关于宣传思想工作的重要论述,认真落实党中央关于网络意识形态工作决策部署,科学认识互联网传播规律,
近年来,随着双语教育和国家通用语言推广工作的开展,新疆少数民族国家通用语言水平有所提高,其中提高的原因值得深入探讨。该选题以李志忠教授对新疆各民族语言状况的调查数据及其所作《新疆少数民族普通话普及度抽样研究报告》(书稿)中的相关数据为基础,选取从低级行政区域流动到高级行政区域的少数民族流动人口进行深入访谈,在理性数据中加入感性材料,探索流动人口学习国家通用语言的有利条件。对其流动前后国家通用语言水
休闲是人的一种状态,是自由精神的象征,也是人类发展的深层次动力和目标。随着商品经济的发展、科学技术的进步,国民生活水平大幅提升,中国紧跟发达国家进入休闲时代。城市务工女青年作为休闲经济和休闲文化的重要参与者,其休闲满意度既是对生活质量的客观反映,也是对休闲生活质量的主观评价。本文选择宜昌务工女青年作为主要调研对象,对其休闲时间、主要休闲方式、休闲动机、休闲质量、主要精神压力与困扰、自我满意度等方面
近年来,高校社会安全类突发事件时有发生,引起公众的广泛关注。高校作为科研和培养新时代高层次人才的基地,深受国内外政治社会环境的影响。随着互联网的迅猛发展,当前大学生群体成为各类社交媒体的主要用户,他们关注国内外政治和社会热点,但由于他们价值观塑造尚未成型,会受网络上各类真假信息的影响和引导,有些也会变成所谓的“吃瓜群众”和“键盘侠”,高校内发生的一切都有可能在网络发酵的作用下形成网络热点舆情,引发
大量研究显示视网膜各层组织的厚度与不同眼部疾病的严重程度具有良好的相关性,眼底视网膜各层组织结构厚度的变化能够提供相关疾病的有用诊断信息。光学相干断层扫描(OCT)眼
单载波频域均衡技术可以有效地对抗频域选择性衰落信道,使用频域均衡技术的单载波系统与OFDM系统具有基本相同的误码率性能和复杂度,而且具有良好的峰均比特性,但是当窄带干
20世纪90年代以来,财务重述现象在世界范围内经历了从出现到频发再到愈演愈烈的过程。财务重述的本质,是对前期财务报告中的差错或模糊信息进行更正或者补充,从而加强会计信息质量,以减缓公司内外部的信息不对称,维护投资者权益。然而,重述公告的出现同时也意味着公司前期财务报告质量受损、会计信息的可信度较低,不仅扰乱了资本市场信息披露环境,也损害了投资者信心。财务重述的根源是公司治理出现问题所以未能发现财务
那云农场是一个拥有六十多年历史的生产型大企业,在这六十多年里,企业的所有产品都是上交国库的,因此为国家的农产品供应曾经做出了巨大贡献。2013年在进行了国有企业的改制后,企业不得不自己寻找市场,在数字化、智能化、国际化的今天,市场大浪淘沙、瞬息万变,那云农场难以适应这样残酷的、激烈的竞争环境,虽然经过几年的努力,但经营状况依然不理想,企业正在生死攸关的转折关头!通过本文的研究,我们将运用市场营销的