基于生成对抗网络的单幅图像超分辨率重建研究

来源 :四川师范大学 | 被引量 : 0次 | 上传用户:bold_gm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
单幅图像超分辨率重建(SISR)是一个经典的计算机视觉任务。单幅图像超分辨率重建主要目的是对输入的单幅的低分辨率图像进行空间分辨率的放大,使其成为高分辨率图像的技术。由于一张低分辨率图像可以由多张不同的高分辨率图像下采样而来所以使得超分辨率重建是一个病态问题。并且下采样的倍率越大,使得缺失的信息越多使得重建任务就会越为困难。近年来,使用卷积神经网络进行单幅图像超分辨率的结果远好于使用传统方法的重建结果。但卷积神经网络在面对较大的放大倍率进行图像重建时会使得重建图像过于平滑而缺乏纹理与细节,从而使得人眼感觉重建的图像不够真实。通过使用生成对抗网络(GAN)能够有效的改善重建图像在较大倍率下缺乏纹理的问题,从而改善图像的视觉感受。超分辨率重建生成对抗网络(SRGAN)通过使用生成对抗网络与感知损失改善了基于卷积神经网络模型在较大倍率下的重建图像缺乏纹理而过于平滑的问题,但是SRGAN的重建图像会产生大量的伪影与噪声。较多的噪声与伪影不仅会降低重建图像与原始图像的一致性也会影响图像的视觉感受。本文拟在超分辨率重建生成对抗网络的基础上降低其重建图像的伪影与噪声,同时提升重建图像与原始图像的相似性。贡献如下:1.本文提出了具有独立高频判别器的双判别器超分辨率重建生成对抗网络(HFD-SRGAN)。为了改善基于SRGAN框架的SISR细节重建和定位的准确性和效率,本文在SRGAN的基础上通过实验发现重建图像的伪影与噪声往往在图像的高频分量上有较为显著的响应,通过直接约束图像的高频分量的分布能够更准确且有效的降低中间图像的噪声与伪影。从而提出了一种直接约束高频信息的低计算复杂度通用GAN——双判别器生成对抗网络。我们将离散小波变换提取的图像的高频分量引入生成对抗网络(GAN),并为这些高频分量构造一个额外的判别器。此外,为了保证重建图像在不同尺度下都与原始图像保持一致,我们提出了通过对重建图像进行与原始图像相同的重采样过程而获得的新的低分辨率图像,使用该图像与输入的低分辨率图像进行比较的退化损失函数。新方法在与SRGAN使用相同的生成器网络时,全面改进了SRGAN重建的视觉效果,达到了与目前最先进技术相当的水平。2.本文提出了利用重建图像与插值图像进行排序的排序网络(SelfRank SRGAN)。首先输入的低分辨率图像经由生成器进行重建获得重建的高分辨率图像。随后利用重建图像与原始图像来对判别器,生成器与排序网络(Ranker)进行交替训练。判别器与生成器的训练与常规的生成对抗网络无异。Ranker在进行训练时,其输入图像是重建图像与原始图像的插值图像。Ranker通过对这些插值图像按照与原始图像的差异进行排序而无需任何的图像质量评定指标。在模型训练中,我们还提出了图像块距离损失(Patch Distance Loss,PDL),通过将图像切割为块并计算这些块两两之间的余弦相似度用以约束重建图像,实验证明PDL能显著提高重建图像与原始图像之间的相似性。通过公开数据集的实验和对比分析,本文提出的Self-Rank SRGAN与现有主流模型相比,不仅能够有效地降低重建图像的伪影与噪声,而且能够有效提升重建图像与原始图像之间的峰值信噪比。
其他文献
自1931年抗战爆发以来,随着日本军国主义对我国侵略程度的不断加剧,全国各族同胞被迫发起反抗。同时,国内的有志之士便撰写了大量传播抗战思想,研究边疆、民族问题的学术论著,各地政府也积极创办地方报刊,投入抗战建国的潮流之中。《西康国民日报》于1939年10月10日“双十节”正式创立。本论文以抗战时期的《西康国民日报》为研究对象,分为绪论、正文、结语、附录四个大部分组成。“绪论”阐述了选题缘由、研究意
纪实类节目是近几年电视荧幕中极为活跃的一种节目类型,在新闻节目、专题片、纪录片当中几乎都可以看到纪实性的存在。纪实类节目存在的价值在于对过去或现存事物的记录,从而还原并揭示生活本身所富有的内涵和价值。新媒体掀起的创新狂潮,使得纪实类节目的形式也在不断更新,而在这中间,主持人担任的角色也在发生改变。主持人只有对自身角色进行准确定位,并实现角色的个性化塑造,才能在多元背景下占据牢靠地位。本文结合笔者毕
《经济周报》是1945-1949年间上海出版发行的对国内外具有较大影响的理论性经济刊物。目前,该刊物已有相关纸质版和电子版出版发行,但学术界对其缺乏专题系统研究。《经济周报》作为大众传播媒介之一,主要内容是对这一时期国内外经济问题和经济理论进行了理论性和现实性的综合研究报道。例如,关于国内经济问题中的农业问题、对外贸易问题和通货膨胀问题;关于国际经济问题中的美国与英国、苏联与东欧国家以及部分亚洲国
漕运史研究是大运河历史文化研究的重要方面。自进入21世纪以来,学界关于漕运史的研究成果丰硕。这些论著围绕我国各个历史时期大运河的历史变迁、河道整治、漕运管理等问题展开研究,探讨漕运对大运河沿线地区的经济、社会、文化等方面产生的影响。伴随漕运史研究的深入,不少与之相关的史料文献先后被整理汇总和出版,催生了运河学的产生和发展。系统梳理和回顾总结这些学术成果,对把握当前研究现状及指导今后大运河漕运史研究
分子性质预测是一项基础且重要的研究,准确预测分子性质在化学信息学的各个应用领域中都受到广泛关注,例如工业应用,环境工程及药物设计等。近年来,数据驱动方法取得的巨大成功以及机器学习技术的落地应用,加速了各个领域信息的交叉融合,也为分子信息获取带来了新的挑战和机遇。本文提出利用分子动力学和机器学习的方法分别对微波作用下超临界水的热力学性质,化合物分子的水溶性和水合自由能进行了预测研究。首先,通过分子动
特征选择是数据分析对数据降维时常用的方法,有效的特征评估方法是特征选择的基础与关键.模糊邻域粗糙集作为一种较新的处理不确定性的数学模型,基于它的不确定性度量可以作为特征评估的工具.但目前在模糊邻域粗糙集上的不确定性度量的构建还不够完善,尤其是从信息表示方面讨论的度量甚少.为了挖掘更好的特征选择算法,本学位论文采用代数表示与信息表示的复合构建,建立和深化了模糊邻域粗糙集的决策熵不确定性度量体系;基于
离群检测是数据挖掘研究的重要组成部分,其任务是,在给定数据对象集中发现那些与其他大部分对象相比有显著不同特征的对象。在大部分数据处理方法研究中,数据对象之间的这种差异性很可能被视为噪声而丢弃。实际上,罕见数据对象的出现对数据集的分析与处理可能蕴含着更大价值。离群点检测方法有很多,在一些特定应用场景中,比如在分布复杂且不确定数据集的离群检测中,粒计算提供了一套基于粒化思想应用于复杂问题求解的理论框架
淮安位于大运河畔,是国家著名的历史文化名城之一,被称作"运河之都"。自从2014年6月中国大运河被列入《世界遗产名录》以来,有关大运河和漕运文化的研究如火如荼。中国漕运博物馆作为漕运文化的代表,其视觉形象设计是展现博物馆形象的重要形式之一。时至今日,受众对博物馆的需求不再只限于珍贵文物的展现,其视觉形象设计也是当代博物馆设计的关键因素之一。本文从中国漕运博物馆视觉形象设计的必要性入手,提出该博物馆
属性约简是粗糙集理论的主要内容,也是数据分析的有效手段,相关研究具有重要价值及意义.传统决策分类属性约简适用于所有决策类优化,针对实际中存在的局部优化需求,特定类约简应运而生.粗糙集的不确定性主要存在于边界域,而基于边界域的属性约简主要停留在决策分类约简,相关的特定类约简罕见相关研究报道.为此,本学位论文基于粗糙集不确定度构建,对比决策分类不确定度约简,提出特定类不确定度约简,研究约简横向关系、层
“智慧家庭”是依托智能家居技术的一种科技生活方式,由于多种因素,智能家居的发展始终处于内热外冷的状态。对于“智慧家庭”,大多数消费者的认识还仅停留在单一的智能硬件产品阶段。动态图形这一信息传播形式,为进一步推广和普及“智慧家庭”概念提供了优质解决方案。首先,文章论述了“智慧家庭”的相关概念、动态图形的造型特征,分析动态图形在“智慧家庭”概念推广中的适用性,将动态图形与电影电视艺术、影视动画、静态图