基于生成式对抗网络的图像修复算法研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:kick88888888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像修复是通过对受损区域或丢失信息进行补充,来恢复图像的原始视觉效果。作为图像处理领域中的研究热点,图像修复技术在目标物体移除、老照片修复、特效制作等方面都具有重要的研究意义。本文讨论了深度学习和生成式对抗网络的相关理论,介绍了基于深度学习实现图像修复的几种网络结构,并在生成式对抗网络的基础上,提出了两种图像修复算法。具体工作包括:首先,基于生成式对抗网络,设计了一种级联式生成对抗网络图像修复模型,用于解决规则破损区域的图像修复问题。该模型分两个阶段进行图像修复,由粗化生成和细化生成子网络串联而成。在粗化生成网络中设计了一种并行卷积模块,由三层卷积通路和一个深层卷积通路并联组成,可解决网络层数较深时的梯度消失问题,同时有助于梯度的反向传播;在深层卷积通路中提出了一种特征提取模块,可利用不同大小的卷积核来获取更加丰富的图像信息;在细化生成网络中增加了空洞卷积和跳跃链接,以获得更加丰富的图像特征,实现复杂纹理的自动修复。在三个标准国际数据集上的仿真实验结果表明,该算法修复图像视觉效果良好,量化评估结果准确,可以实现对复杂结构和纹理信息的自动修复。其次,提出了一种基于级联残差模块和对抗学习的图像修复算法,用于解决自由形状破损区域的图像修复问题。设计了一种级联残差模块,通过对4个通道的双层卷积进行交叉级联,可有效增强特征复用;采用空洞卷积,可以充分利用上下文信息,保留更多的图像底层细节,实现图像的准确修复;此外,在网络中采用门控卷积,在密集图像块上采用光谱归一化判别器,可以稳定训练,加快训练速度,同时解决了全局和局部判别器不适用于自由形状掩码的问题。该方法可包含更多复杂结构,完成具有自由形态掩码的图像修复,修复结果更加真实可信。综上所述,本文提出的两种图像修复算法通过深度学习训练,对于规则和自由破损区域两种图像,都能恢复其完整的视觉效果,修复效果自然真实,与当前常用深度学习算法相比性能更优。
其他文献
目标检测一直是计算机视觉领域最热门的研究课题之一。传统的目标检测方法大多基于手动设计的特征提取策略和滑动窗口的区域选择策略,鲁棒性较差、时间复杂度较高。近年来,随着具有强大特征提取能力和局部感知能力的卷积神经网络(Convolutional Neural Network,CNN)广泛应用于计算机视觉领域,目标检测算法的精确度和速度都得到了大幅提升。其相关技术已广泛应用于智能交通、工业制造、军事国防
学位
人的微表情变化通常发生在一个人试图隐藏真实感受的情况下,与常规面部表情相比,它具有持续时间短、动作强度低的特性,能够揭示出与人们内心真实活动有关的信息。近年来,微表情识别因其在犯罪检测、商业谈判、刑事审讯等领域有重要的应用价值而逐渐引起了研究者的关注。根据所使用的数据源种类,微表情识别可以在单一数据域和交叉数据域上进行研究。然而目前微表情识别研究仍处于初始阶段,主要存在以下问题:一是微表情数据库不
学位
右玉精神融入大学生思想政治教育有利于学生生动理解马克思主义的精神特质,有利于坚定大学生的崇高理想和远大追求,有利于精准助力高等院校的人才培养。高校应在教师队伍、实践研学、网络育人、校园宣传等四个方面齐抓共管,进行有益的实践尝试。
期刊
近年来,计算机视觉领域获得了飞速发展,基于深度学习的目标检测作为该领域的重点研究方向,也取得了一定的研究成果。但其依旧存在对中小物体识别精度差、检测速度迟缓等问题,且对一些特定场景如教室的学生行为检测等缺乏应用研究。将目标检测算法运用到教育教学场景,可以有效反馈老师课程质量和学生听课状态,为学校改良教学方式提供重要参考,具有很大应用前景和价值。因此本文重点研究了在教室场景下对学生写字、举手、听讲、
学位
石膏质岩具有溶蚀性,在勘察设计阶段应用标准规范对石膏质岩进行围岩分级往往不能满足施工需求.为定量化分析溶蚀对石膏质围岩分级的影响,开展不同循环次数(1、 3、 6、 10次)和不同流速(0、 10、 20 L·h-1)的干湿循环实验;通过单轴压缩实验,探究石膏质岩在不同流速和干湿循环次数下的力学参数劣化规律.选取BQ值作为围岩分级修正的基础,将单轴抗压强度作为修正指标;建立流速和干湿循环耦合作用下
期刊
随着立体成像技术和多媒体应用的飞速发展,越来越多的立体内容出现在日常生活中,为人们提供了身临其境般的视觉体验。立体图像在采集、存储、传输和显示等过程中会引入多种失真,导致图像质量下降,影响观看者的主观体验。因此,对立体图像进行质量评估具有重要意义。受人类视觉皮层分层结构和交互机制的启发,本文提出一个基于立体融像的无参考立体图像质量评价网络。该网络由立体融像初级子网络和特征提取高级子网络两部分组成。
学位
现代医学影像技术已成为临床医学领域不可或缺的工具,高质量、高分辨率的医学图像能够帮助医生进行更准确的诊断,但医学图像的分辨率受到多种物理、技术和经济因素的限制。超分辨率重建技术可以提供一个成本较低的解决方案。超分辨率重建是一个典型的病态问题,主要目的是将低分辨率图像映射为高分辨率图像。图像超分辨率重建技术主要包括基于插值、基于重建和基于学习三类。目前,比较主流的图像超分辨率重建方法是基于深度学习的
学位
现实环境中,目标语音往往会被噪声所污染,导致接收端接收的语音质量和可懂度降低,影响通信质量。因此,将纯净的目标语音从嘈杂的背景噪声中分离出来是极为重要的,而实现这一目的的手段称为语音增强。然而,现实生活中噪声种类繁杂,若能针对不同噪声采取不同的语音增强策略,则理论上势必会提高语音增强系统的性能和鲁棒性。此外,语音信号特征可以用分形维数表示。因此,若能将分形维数引入到语音增强系统中,一定程度上也会增
学位
智能设备采集能力的增强及大数据的发展,使得涌现出越来越多的高维数据处理需求,如高光谱数据、视频数据、地震数据、雷达数据等。这些高维度的数据在数学领域被统称为张量。在数据采集、编解码及传输过程中,信号难免会遭受数据丢失。对缺失数据的张量补全是对数据进行其他高级分析的重要基础。当前已经有很多研究者对张量补全技术做了广泛且深入的研究及应用。但他们的算法往往只针对随机缺失的张量数据。在实际应用中,缺失数据
学位
<正>通过细读党的二十大报告,“人民”在报告的字里行间出现逾百次,从而让我深感“人民”二字的分量与亲和力。报告凝聚的“民本”伟力,对统揽城市管理事业科学发展起到积极的引领和鞭策作用。习近平总书记在党的二十大报告中指出,坚持人民城市人民建、人民城市为人民,提高城市规划、建设、治理水平,加快转变超大特大城市发展方式,实施城市更新行动,加强城市基础设施建设,打造宜居、韧性、智慧城市。这为城管部门推进经验
期刊