基于生成对抗网络的图像超分辨率重建算法研究

来源 :福州大学 | 被引量 : 0次 | 上传用户:june_jt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像超分辨率SR(Image Super-Resolution)算法可通过低分辨率图像重建出高分辨率图像,而基于深度学习的方法相比于传统方法,在重建效果上有巨大的提升。随着深度学习的快速发展,许多神经网络结构相继出现,而生成对抗网络GAN(Generative Adversarial Network)出现后,即开始应用于图像生成方向。本文分析了以往基于生成对抗网络的图像超分辨率重建方法的一些缺点,进行了改进。主要工作研究内容如下:(1)研究并介绍了深度学习的相关理论,对不同类别的图像超分辨率的经典算法进行探究,分析了其原理,并阐述了生成对抗网络的相关知识及其在超分辨率领域的经典应用SRGAN(Super-Resolution Using GAN)。(2)为了解决SRGAN中基于残差结构Res Net的生成网络不能很好的利用低维特征以及其参数量较大的问题,提出了一种基于Dense Net密集连接结构的GAN网络。首先生成网络由4个密连接模块构成,每个模块有4个密连接层,其有很强的特征复用能力,可以将低层次的特征很好的利用起来,且在参数量上也较少;其次在上采样过程引入了基于学习方式的子像素卷积替代以往Dense Net结构中常用的反卷积以求更好的重建效果;随后设计了基于Smooth L1的内容损失函数,通过Smooth L1函数来计算VGG网络提取到的特征图损失。模型在SET5、SET14和BSD100测试集上的PSNR和SSIM值相比与SRGAN均有提升。(3)为了解决BN(Batch Normalization)层在超分辨率中效果较差的问题和密集连接GAN网络中训练不稳定的问题,首先在生成网络中移除了冗余的BN层,并分析了GAN网络中存在的问题和基于Earth-Mover距离的WGAN,随后将Earth-Mover距离引入判别损失的设计中。其次,提出了一种优化型的密集连接GAN网络,该模型不仅能更好的通过观察判别损失来监测训练的进程,重建图像在SET5、SET14和BSD100测试集上的PSNR和SSIM值也优于优化前模型。在采用了Pytorch深度学习框架以及GPU并行加速的实验环境中,将本文模型与以往的经典算法对比。通过图像评价指标PSNR和SSIM进行评估。分析了各模型在SET5,SET14,BSD100三个测试集上的结果。最后优化的模型相比于SRGAN在三个测试集上的PSNR分别提高了0.375d B,0.269d B,0.196d B;SSIM分别提高了0.028,0.020,0.015。本文模型在图像重建速度上也优于SRGAN,证明了本文设计模型的可行性和有效性。
其他文献
当今时代,人们追求更佳的视觉体验和更丰富的信息,现有的灰度图像着色算法可分为基于用户引导的颜色传播类算法、基于参考信息的半自动着色算法和基于数据和算力驱动的自动图像着色算法。前两种算法由于其本身的特点,而受限于使用场景和规模程度,第三类算法是顺应时代发展的产物,结合人工智能算法的研究进展、图像显卡设备的性能突破和大数据时代的到来,基于深度学习的灰度图像自动着色算法表现优异,从众多方法研究中脱颖而出
学位
行人再识别用于解决在不同摄像头中匹配出相同个体的问题,是跟踪抢劫、防止恐怖袭击等安全关键事件研究的核心技术。然而,它面临着数据集规模小、错位影响、光照强度变化、背景干扰等多种巨大挑战。本文的目标是研究并实现具有鲁棒性且性能优越的行人再识别算法,为现有数据集背景噪声大和规模小的问题提供解决方案。针对以上问题本文在福建省科技厅项目(2018H0018)和福州市科技局项目(2020-GX-17)的支持下
学位
目前人体三维重建方法大多采用融合目标多视角图像或视频图像的方式进行研究。这类方法通常需要昂贵的实验设备、复杂的实验场景,因此该类方法难以在实际场景中推广运用。相对而言,利用单幅图像进行人体三维重建的方法便捷高效,更利于在实际项目中使用。本文在当前基于单幅图像进行人体三维重建的方法基础之上进行优化,目的是提升输出人体模型的精度以及恢复人体在着装情况下的模型表面纹理。主要研究工作如下:(1)分析了基于
学位
面对日益严重的交通问题,国内外专家学者采取多种措施来缓解,其中,发展先进的城市道路交通管理与控制系统是解决目前交通问题的最佳选择之一。道路交通信号控制的类型多样,不同的信号控制系统有不同的信号方案优化算法和与此类算法相匹配的综合控制软件。相位差优化算法是区域信号方案优化和干线协调信号方案优化不可缺少的算法之一。道路交通信号控制的三个要素是相序、周期和绿信比,它们是单点路口信号控制的核心参数。根据交
学位
为了应对环境污染、化石能源匮乏等问题,光伏(PV)发电作为一种主要清洁可再生能源得到了迅速发展。光伏电站直流侧光伏阵列工作在无人值守的复杂室外环境中,容易因故障导致发电功率下降甚至产生安全隐患。光伏组件建模、光伏阵列在线故障监测,对确保光伏系统正常运行具有重要意义。本文主要开展基于机器学习和I-V输出特性的光伏组件建模和光伏阵列故障诊断研究。首先,建立光伏发电系统的仿真模型并研究了标准工作条件下光
学位
钢丝绳对社会的工业生产和经济的支撑都启到了重要的作用。在建筑工程项目中,由于其特殊的材质和结构上优越的可承载性,起重机械都使用它为主要承重构件来进行作业。而在起重机械工作过程中,受到摩擦、腐蚀、过载等各种因素的影响,会引发形变、断丝等缺陷故障,没有及时地检测更换,瞬时引发断裂导致严重的安全事故。故本文以“数字图像处理+卷积神经网络+系统平台”为基础研究架构,对钢丝绳断丝、笼状、纽结、绳股突出、咬绳
学位
图像检索是计算机视觉领域的热门研究方向,商标图像检索作为其中的一个细分和典型应用领域,在生活中有许多实际场景如商标合法性检测、品牌商业分析、电商平台的商品搜索及推荐等涉及到商标图像分析的场景,具有重要的研究意义。本课题在对现有的图像检索技术,尤其是商标图像检索技术进行分析调研的基础上,结合现有技术的一些局限性,提出了改进措施,主要工作如下:(1)实际场景中商标常具有图像背景复杂、分辨率高、尺寸差异
学位
近年来,数码变焦在智能手机和数码相机应用领域发挥着举足轻重的作用。实现数码变焦最直接的做法便是对拍摄图像进行超分辨率重构,而运用深度学习技术对图像进行超分辨率重构是当前的主流方案。当前多数基于深度学习的超分辨率重构方法都是使用人工合成数据进行网络模型训练,没有充分考虑到真实场景中存在的各种不定因素,例如拍摄时的相机抖动,相机自带的噪声以及镜头畸变等问题,所以这类方法在现实中的应用性能都会明显下降。
学位
同步定位与建图(Simultaneous Localization and Mapping,SLAM)是移动机器人中的关键技术。由于单目相机和惯性测量单元(Inertial Measurement Unit,IMU)具有很好的互补性,基于视觉、惯性传感器的SLAM系统(Visual Inertial SLAM,VISLAM)成为近几年研究的热点。在室内移动机器人场景中,加速度计会发生退化,导致VI
学位
近年来,随着对计算机视觉和人工智能领域的深入探索,利用相关技术对无人机(Unmanned Aerial Vehicle,UAV)航拍视频中的目标进行检测与跟踪已经成为当前的一个研究热点。与航拍视频的目标检测和跟踪技术相关的拓展运用也在智慧城市、监控侦察、灾害勘探等方面起着至关重要的作用。由于无人机航拍视频中的运动目标较小且分辨率低,图像中环境复杂,也使得这方面的研究与应用面临诸多挑战。本课题的研究
学位