【摘 要】
:
图像修复是在图像缺损区域内补充像素信息,使修复结果具备视觉真实性的过程,在图像编辑、图像渲染、物体移除等方面有着重要应用。随着生成对抗网络(Generating Adversarial Network,GAN)的提出,基于深度学习的修复方法展现出远优于传统方法的修复效果,但在处理大孔洞时,当前方法仍存在不足。在大面积不规则缺损的图像修复任务中,针对修复结果存在语义缺失和纹理模糊的问题,提出基于边缘
论文部分内容阅读
图像修复是在图像缺损区域内补充像素信息,使修复结果具备视觉真实性的过程,在图像编辑、图像渲染、物体移除等方面有着重要应用。随着生成对抗网络(Generating Adversarial Network,GAN)的提出,基于深度学习的修复方法展现出远优于传统方法的修复效果,但在处理大孔洞时,当前方法仍存在不足。在大面积不规则缺损的图像修复任务中,针对修复结果存在语义缺失和纹理模糊的问题,提出基于边缘指导的修复方法;针对上下文特征在编解码过程中传递受阻,局部信息丢失的问题,提出注意力跨层转移网络以增强上下文连续性,并结合U-Net进行图像修复;为了改善修复结果的结构性错误,增强对缺损图像多层次信息的表征能力,提出基于结构约束与多尺度特征融合的图像修复方法,实现结构和细节上的共同提升。总体而言,本文的主要工作如下:(1)提出基于边缘指导的二阶图像修复模型,通过基于自编码器的边缘生成网络和基于U-Net的内容填充网络完成图像修复。首先,边缘生成网络根据已知像素灰度值和边缘信息推断缺失边缘,得到边缘生成图。然后,内容填充网络以边缘生成图为先验引导条件进行纹理填充。为了减少纹理重建过程中的上下文信息丢失,采用U-Net网络架构作为内容生成器,通过跳跃连接将各级编码特征传递至对应解码层,同时引入移位连接层(Shift Connection Layer,SCL)对指定解码层特征进行重构,并与对应尺度的潜在特征、编码特征融合进行后续的解码工作,约束内容生成器以优化局部细节。(2)提出基于注意力跨层转移网络的生成式图像修复模型,通过在相邻特征空间跨层应用注意力机制以实现细粒度的修复效果。该模型包括生成器和判别器两部分。首先,生成器在U-Net的基础上,结合注意力跨层转移网络(Attention Transfer Network Across Layer,ATNAL)对各层编码特征进行重构,减少上下文信息丢失。然后,利用跳跃连接将多尺度重构特征与对应的潜在特征融合进行解码,缓解编、解码层间信息丢失的同时,激励多尺度解码器生成上下文相似的内容。最后,在解码完成后将多尺度解码特征转为RGB图像,并以L1范数进行约束,进一步提升上下文一致性。(3)提出基于结构约束与多尺度特征融合的二阶生成式图像修复模型,以完成具有挑战性的大面积不规则缺损修复任务。该模型分为边缘修复网络和图像修补网络两部分。首先,边缘修复网络将自编码器与扩张的残差特征金字塔融合块(Dilated Residual Feature Pyramid Fusion Block,DRFPFB)结合,提升对图像多层次语义信息和结构细节的表征能力,在缺失区域实现更高质量的边缘修复。其次,图像修补网络将真实边缘作为先验条件,在自编码器中嵌入扩张的多尺度注意力融合块(Dilated Multi-scale Attention Fusion Block,DMAFB)进行纹理合成,通过聚合不同维度的远距离特征,实现边缘约束下的细粒度修复。最后,以边缘修复结果代替真实边缘,对两个网络进行融合训练,实现从缺损图像到完整图像的端到端修复。
其他文献
语言学习离不开语言环境,语言环境作为影响语言学习的重要外部条件,能为学习者提供丰富多样的语言输入,提高学生的交际能力,对语言学习具有重要意义。目前汉语教学主要依靠课堂教学进行,课堂同样也是外籍子女在华接受汉语学习的主阵地,因此课堂的语言环境无疑会对来华留学生汉语学习的语言输入起至关重要的作用。只有深入了解课堂语言环境对学生汉语学习的作用与影响,创设良好的课堂语言环境,为学生提供贴近真实的交际情景和
电子与制造业经过十几年的全球化发展,其供应链和市场日趋成熟,使得安防行业的竞争日趋激烈。同时,根据市场成熟度曲线的分析,安防行业在过去十年间快速发展,经历由“模拟信号”转变为“数字化”、“网络化”的技术变革。但是近年来,安防市场增长率逐年放缓,产品同质化竞争日趋严重,行业内厂商为保持其稳定的增长,市场核心驱动力也由“以产品为中心”逐步转变为“以客户为中心”。因此,不断优化和提升客户服务质量将会成为
作为华夏文明的发祥地之一,地处黄河流域的山西也是中国鼓乐艺术的发源地,山西民间锣鼓艺术种类繁多,按区域划分尤以晋南地区锣鼓最富盛名。晋南地区的民间锣鼓多种多样、异彩纷呈,这里不仅有妇孺皆知的威风锣鼓、翼城花鼓、绛州鼓乐,还有软槌鼓、襄汾花腔鼓等几十种不同形式的锣鼓样式,故晋南地区也被称之为“民间锣鼓摇篮”。晋南鼓乐作为晋南地区非物质文化遗产的组成部分,是晋南地区文化发展的载体和历史变迁的见证,深藏
天主教徒在美国总统选举中经常被视作为最典型的中间选民团体。天主教并不是美国最为主流的宗教,却在美国政治中的影响越来越大。美国的天主教徒目前有6200多万,约占美国人口总数的五分之一,合格选民占美国总体选民的四分之一。天主教选民多生活在美国的关键州(摇摆州),如威斯康星州、佛罗里达州、宾夕法尼亚州等,这些关键州的选票在过去大选中往往起决定性作用。据已有的民调数据显示,除了 1968年和2000年的总
以吉林地区为例,分析大豆生长特性,从品种选择、整地、播种、测土配方施肥、除草、病虫害防控等方面,阐述大豆高产优产技术,深入贯彻现代化农业发展理念,以供参考。
为了对EPC项目群管理在中国的应用情况进行探析,在分析EPC项目群的定义、特征和难点的基础上,通过白鹤滩库区移民工程EPC项目群管理实践,从管理模式、管理构架、进度管控、安全管控和质量管控5个方面阐述了管理实践创新做法,总结了国内EPC项目群管理的创新做法和经验。研究成果可为中国企业承接类似EPC项目提供参考。
情境体验剧是指以“情境”为手段、以“体验”为目的,将戏剧事件发生的环境进行最大程度的营造和还原,由此为观众带来真实戏剧体验的戏剧类型,其中“体验”正是这一戏剧类型的最大亮点。21世纪,我国经济文化飞速发展,人们的生活水平逐渐提高,在这种背景下,传统的舞台剧不能再满足人们日益增长的审美需求,情境体验剧应运而生。情境体验剧《又见平遥》自2013年公演后,持续受到了社会各界的关注与支持,并且一直保持在中
传统民族乐器的教学对于当前小学课堂是非常重要的,在这之中节奏占据主导地位。节奏是旋律的骨架,是组成音乐重要的元素之一。音高需要与节奏相结合才能形成旋律,所以对于小学生学习笙这门乐器而言,首先要掌握好节奏。本文第一部分介绍了本文的选题缘由、研究现状、研究意义研究方法;第二部分介绍了节奏的定义、节奏训练的作用、节奏在音乐教学中重要性进行了具体阐述;第三部分论述了康宁小学笙集体课的教学中存在的问题,并对
西藏无边无垠的高寒草甸、高寒草原以及高山荒漠化草原上分布着丰富的禾本科、莎草科植物,生态环境的复杂为植物种类的多样性提供了环境,也为西藏发展林业、畜牧业和农业奠定了基础,这在西藏经济建设中占有突出的地位。随着深度学习的发展,计算机强大的数据分析和学习能力已经能够为不同的领域提供服务。针对西藏丰富的植物资源,研究通过基于远程监督的关系抽取技术,将互联网上与西藏高原植物相关的文本数据进行清洗、转化、加
研究目的:失重、超重以及变速运动刺激会引发晕动症(motion sickness,MS),它是一种前庭受到异常刺激后,由神经系统引起的前庭-自主反应(vestibular-autonomic reflex),其具体症状包括恶心、眩晕、呕吐、面色苍白发冷汗、昏睡、疲倦以及情绪变化等。MS不但给易感人群出行带来痛苦,而且其引发的高级脑功能症状会极大地影响航空、航天、航海作业。因此,MS发生的神经机制及