基于纹理-结构分支的迭代式图像修复方法研究

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:potato_212
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像修复旨在为图像的破损部分填充有意义的内容,使整张图像场景自然、语义完整。随着社会的发展,图像修复的应用场景变得越来越广泛,例如:人脸修复、图像编辑、壁画修复、文物保护等等。多变的应用场景使自动化图像修复算法研究成为图像修复领域的热点问题。自从卷积神经网络被人们广泛应用以来,数据驱动的深度自动图像修复算法逐渐成为主流方法。尽管现有的图像修复算法在恢复破损图像内容上表现出强大的能力,其生成结果仍存在内容缺失、颜色偏差、风格差异等问题。这主要有以下几点原因:算法模型参数多,过拟合的风险大;大部分模型是单轮图像修复,即破损图像被一个前馈式网络修复后直接输出结果,未考虑到人工图像修复是一个循环迭代的过程;模型仅在单个分支中修复图像,忽略了其他分辨率下对特征图信息的提取和修复;图像修复过程中,未显示提供修复指导信息等。通过对以上几个问题的研究优化,本文的主要研究工作分为如下部分:(1)基于生成对抗网络的迭代式图像修复模型设计。该模型主要由图像编码模块、迭代式纹理—结构图像修复模块、特征融合模块和图像解码模块构成。经过编码模块后,特征图在迭代修复模块中并行地经过结构修复分支和纹理修复分支进行修复并输出。该输出特征图既是本轮迭代的结果,又是下一轮迭代的输入。经过多次迭代后,特征融合模块自动融合多次迭代的结果,由图像解码模块解码生成修复后的图像。迭代式图像修复模型采用生成对抗网络实现,模仿了人类修复图像的思想。同时,通过缩减通道数、改善注意力等等方式约束模型的整体参数,使得本文模型能以更少的参数量达到与其他图像修复模型近似甚至更好的结果。(2)纹理—结构分支修复设计。以往的图像修复模型将图像编码到单个低分辨率的特征空间中并在此特征空间中修复图像。这使得图像修复算法仅能在单个特征空间中修复图像,忽略了更高分辨率下图像的纹理细节特征和修复区域周围的纹理一致性。本文通过引入纹理修复分支,弥补了结构分支在细节层面的缺失。经过纹理—结构分支修复的图像质量得到了改善。(3)迭代式语义一致注意力模块设计。为了进一步增强修复能力,本文图像修复模型采用了注意力模块以显式学习特征匹配与迁移。传统的注意力模块计算消耗大,且无法在迭代间传递信息。本文设计采用的迭代式语义一致注意力模块在现有注意力模块的基础上改进,使其既具有迭代间信息传递能力,又在保留特征匹配信息的同时减少了计算量。本文将该注意力模块嵌入到纹理—结构分支修复模块中,增强了模型生成结果的质量。本文基于迭代式图像修复思想构建的纹理—结构分支迭代式图像修复模型,在Places2数据集上取得了平均0.83的SSIM值和平均23.65的PSNR值,在Paris Street View数据集上取得了平均0.86的SSIM值和平均27.14的PSNR值,在Celeb A数据集上取得了平均0.912的SSIM值和平均27.68的PSNR值。相较于当前图像修复领域主流方法,性能均有一定的提升。
其他文献
数字技术全方位、全领域、全链条的应用与赋能,使得数字化转型已经成为数字经济时代引领区域经济高质量发展的重要引擎。本文选取2011—2020年省际面板数据,从基础能力、核心能力和保障能力三个维度构建区域数字化转型程度评价指标体系,结果表明,我国省际数字化转型程度的整体均值呈现了典型的“东部领先”与“西部靠后”的空间集聚特征,但是中、西部地区数字化转型的平均增速分别为1.566%和0.929%,明显高
期刊
学位
论文基于2013-2020年制造业上市公司数据,研究数字化转型、融资约束和企业高质量发展三者之间的关系。结果表明,数字化转型可显著促进企业高质量发展,且融资约束在其中起到中介作用。此外,通过滞后性研究发现,数字化转型有利于企业持续性高质量发展。论文为企业是否应进行数字化转型以及如何推动企业高质量发展提供参考依据。
期刊
20世纪后期以来,信息网络等科学技术的创新发展极大地推动了国家发展与社会进步。发展至今,数字化转型已经成为世界各国推进治理创新的重要选项。党的十八大以来,中国政府高度重视推动政府数字化转型。然而,从当下政府数字化转型的实践和研究来看,技术向度得到了高度关注,伦理向度却在一定程度上被忽视。因此,政府的数字化转型的伦理向度亟需得到重视。“政府之为政府”的类属性和数字化的特有性质决定了政府数字化转型的伦
期刊
清代景德镇所烧之瓷装饰特色鲜明,于瓷坯造型、釉色上追求以古为尚、穷变求新以及取样他艺的艺术风潮,其工艺精湛程度在中国历史上都是史无前例的,带动清代景德镇陶瓷业的经济繁荣,使得景德镇所生产的瓷器远销海内外,在世界各地都享有盛誉。因此本文以制度的研究视角看清代景德镇陶瓷业的各项工艺,可以更加清晰地把握景德镇制瓷工艺本身所蕴含的规范化标准,各工艺之间协调、整饬而形成的系统化制瓷模式。制度于中国古汉语中意
学位
在新冠疫情全球蔓延、外部环境不确定性因素增加的背景下,数字化转型已成为企业增强韧性从而有效应对外部冲击和实现可持续发展的关键策略。基于2012 2020年中国上市企业数据,考察企业数字化转型对企业韧性的影响效应及其作用机制。研究发现,数字化转型能够显著增强企业韧性,这一结论在各种稳健性分析和控制内生性问题后依然保持不变。数字化转型主要通过提升人力资本水平、提高创新能力、缓解融资约束和增强内部控制的
期刊
中小民营制造企业数字化转型是数字经济发展的重要组成部分,是提高制造业生产效率的重要抓手和有效路径。本研究通过对宁波中小民营制造企业的广泛调研,梳理企业数字化转型的发展现状,分析存在的问题,提出加快推进中小民营制造企业数字化转型、更有力支撑全球智造创新之都建设的对策建议。
期刊
近年来,随着数字技术、互联网、软件等高新技术的高速发展,新的载体给设计带来了新的命题:如何从信息汪洋中脱颖而出,如何跟上国家政策的脚步,这都是设计师们该仔细思考的问题。对于以上背景,本文通过研究悖论图形的张力特性,寻找悖论图形基于张力视角的设计方法,基于时代提出的问题,探索将设计作品吸引力最大化的方式。自中国古代起,悖论图形就作为一种艺术表现形式出现在大众视野,例如最典型的太极图、四喜娃娃等图案,
学位
社区医疗机构作为我国最基层卫生服务型组织,在日常生活中承担着为老百姓提供基础医疗服务的职能,其中包含对突发公共卫生事件的监控与防控。根据历史上数次突发高传染性疾病的疫情来看,从源头控制高传染性疾病病毒的传播是最有效地防控手段之一,而病毒的传播源头往往出现在基层群众中。因此,社区医疗作为给基层群众提供基础医疗服务的机构,应该在应对突发高传染性疾病的疫情时,充分发挥自身职能,最大化利用现有资源,做好疫
学位
近年来,随着数字技术与传统企业的深度融合,学术界对数字化转型与企业绩效关系的研究日趋增多,已形成基本研究框架,但关于数字化转型与企业绩效内在关系未达成一致观点。因此,文章将系统地梳理数字化转型与企业绩效关系的相关文献,分析并厘清数字化转型影响企业绩效的具体效果、机制以及路径,总结数字化转型影响企业绩效的理论框架,最后从企业实践视角提出促进数字化转型及提升企业绩效的建议,并从理论研究视角发出未来展望
期刊