基于生成-对抗网络的图像复原方法研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:kunming
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
成像设备的抖动,元器件的噪声和图像编解码等都会导致图像退化。图像复原则是处理退化的图像,使其与原始图像更加接近。传统的图像复原方案有很多缺点,如计算时间过长,鲁棒性较差等等。近几年,基于神经网络的复原方法逐渐被提出,这种算法可以充分获取图像的先验知识,有效地提高图像处理速度,因此受到学者的广泛关注。然而现有的算法大多解决的是比较单一的图像降质问题。如在图像去模糊方面,仅解决人为制造的模糊核,而这类模糊核相对于真实图片的模糊核还是有较大的差距;在图像超分辨率重建方面,大多仅解决清晰图像的重建问题,并未考虑包含其他降质问题的图像重建。因此本文针对更复杂的图像复原问题展开研究。首先本文研究了自然模糊图片的图像复原问题。为了更好的贴近现实情况,本文采用了GOPRO_Large数据集进行训练,该数据集包含了更真实的运动模糊图片。在网络设计方面,将密集连接网络(Dense Connected Convolutional Network,Densenets)应用在了图像去模糊领域,使网络能充分利用中间层的有用信息;基于感知损失(Perceptual Loss),设计了适合去模糊应用的损失优化函数,从而使生成图片和清晰图片在内容上更能保持一致性;此外该算法还采用了生成对抗网络(Generative Adversarial Network,GAN),使生成的图片在视觉上与真实图片更加接近。本文通过测试生成图片与清晰图片之间的PSNR(Peak Signal to Noise Ratio),SSIM(Structural Similarity)和算法处理时间验证了算法的性能。实验结果表明该算法在GOPRO_Large测试集和Kohler测试集上都能取得良好的复原效果,能有效恢复出因运动模糊而丢失的细节信息,鲁棒性强,并且算法的处理时间也明显短于对比算法。图片除了存在模糊问题外,还会有多种原因导致图像清晰度降低,细节信息丢失。因此当图片既有模糊又有清晰度低的问题时,就需要去模糊和超分辨率重建算法来联合复原图像。然而将两种算法简单地串联,不仅效率低下,而且复原效果差。因此解决模糊图像的超分辨率重建问题也十分重要。针对这类问题,本文将GOPRO_Large数据集中清晰图片和模糊图片对应位置进行降采样,将模糊低分辨率图片,清晰低分辨率图片和清晰高分辨率图片组成一组,得到一个全新的数据集进行实验。为了避免归一化对网络功能的限制和伪像的产生,该算法未使用任何形式的归一化;为了使网络能在增加深度的情况下避免参数的大幅增加,本文将密集连接网络和残差网络相结合,组成残差密集网络;为了使网络能有针对的提取去模糊特征和超分辨率重建的特征,本文采用了双分支结构,并联合去模糊损失和超分辨率重建损失优化网络,并通过与相关算法对比复原图像与清晰图像之间的PSNR和SSIM,验证了本文算法的性能和有效性。
其他文献
本篇文章探索的主题是人类的语义处理过程。人类的语义处理是人脑神经元之间通过神经冲动与神经突触构建的网络形成的生物物理过程。它可以将人类通过不同感官接收到的语言文字表达形式与认知系统中对事物概念的理解和含义联系起来。语义处理的生物基础是神经元间的协同激活状态(神经表示)。通过大脑成像方法测量神经活动可以用于推断大脑的神经表示。生物编码实验是对对大脑的内在活动进行建模探索的一种方法。它可以通过建立人为
毛纺织行业是纺织行业的重要组成部分,是生产高品质、创造高价值、体现高品位时尚生活的消费品工业,也是蕴含历史文化,融合现代科技,涉及牧工贸三产联动的民生产业,在加快人民生活品质提升,满足人民美好生活需要,促进国民经济健康发展中发挥着重要作用。"十四五"时期是我国全面建成小康社会、实现第一个百年奋斗目标之后,乘势而上开启全面建设社会主义现代化国家新征程、向第二个百年奋斗目标进军的第一个五年。根据
期刊
随着近年移动设备搭载的摄像头个数持续增加,CMOS图像传感器的市场情况持续火热。虽然目前的图像处理技术已经有了很大的提高,但由于一些客观原因的存在,总会使得采集的原始图片中存在一些坏点,极大地影响了图片质量。因此本课题将对CMOS图像传感器的坏点校正问题展开研究。本文基于图像传感器中坏点的特性,采用先进行静态坏点校正再进行动态坏点校正的方式,对图片中可能存在的坏点进行处理。其中静态坏点校正处理3×
正电子发射断层成像技术(Positron Emission Tomography,PET)是目前分子水平上进行功能显像的最先进的医学影像技术,适用于脑部成像,心血管疾病,肿瘤等疾病的早期预警与诊断,在国内外受到高度关注和广泛应用。PET系统中事件处理是前端电路与图像重建的重要桥梁,直接影响成像效率和重建图像质量。脑部PET系统事件处理主要包含解码、延时校准以及符合等环节。对于PET系统,采集过程将
随着深度网络在各图片任务上取得巨大成功,越来越多研究将重心放在更为复杂的视频理解任务上。动作识别任务的目的是对视频中所有人的动作进行时空位置的捕捉以及动作的识别,是重要的视频理解任务之一。动作识别课题具有重大的科研以及应用价值。动作识别能够广泛地用于监控摄像头、自动驾驶、平台视频审核和商业化、人类行为学研究等领域。本文基于视频中存在的多种交互关系对动作识别课题进行研究。交互关系泛指视频中人和环境的
图像实例分割是一种非常重要的数字图像处理技术。近年在深度学习技术的推动下,该技术得到了飞速的发展,但仍然存在一些缺陷。在这个论文中,我们主要讨论两种改善优化图像实例分割结果的方法。第一个方法,是基于注意力机制的优化方法。图像实例分割方法虽然多种多样,但是对于小尺寸物体的实例分割还多存在着遗漏或误分割的情况。我们通过改进处理流程,将注意力机制应用于图像实例分割的处理流程中,以优化对于小尺寸物体的实例
大数据时代为诸多行业的变革提供了巨大推动力。为获取和处理更多数据,越来越多的技术被发明和应用,“万物互联”已成趋势。大多物联网数据同时具有时间和地点标签。近年来,大规模时空序列层出不穷。基于大数据对时空序列相关性和因果性进行挖掘,并据此进行推断和预测成为了大数据的重要应用之一。本文的研究内容为大规模低频时空序列的预测和大规模高频时空序列的模式识别,主要在大规模时空序列的模型上进行一些改进与尝试以便
由于疾病、创伤和老年化等原因造成的大范围骨缺损的修复与替代问题,是人类几个世纪以来不断深入研究的重要课题。然而迄今为止,临床上对大范围骨缺损的治疗仍是世界难题。利用骨科植入物来重建缺损部位骨组织的结构和功能是现代骨科学的主要治疗手段。近年来,3D打印技术的发展为骨科植入物的设计和制造带来了革命性变化。孔隙结构由于其可控的力学性能和优异的生物学特性,越来越多的应用于骨科植入物的设计中。三周期极小曲面
图像配准是一个寻找两幅或多幅图像的空间对应关系的过程,是一种应用广泛的核心图像处理技术。随着科学技术的快速发展与人民生活水平的提高,在医学图像配准领域,一方面,临床成像技术得到了发展,医学成像设备得到了推广与普及,涌现出了大量的含有丰富的结构或功能信息的图像数据,这给图像配准技术带来了极大的挑战。另一方面,图像配准技术也被应用到各种极具挑战的临床应用场景中,研究者们针对其应用场景提出了大量适用性的
近些年来,许多科研人员致力于电子设备创新交互方式的研究,并据此开发了众多人机交互应用。手势分类技术,作为人机交互方式中的重要一环,也逐渐成为了许多现实应用(如手势识别及可穿戴设备的视觉交互)的迫切需求,且应能适用于不同光照、背景等诸多环境。目前,许多现有的方法都能精确地识别手势,但是,在实际应用中依然存在着诸多的挑战,包括:环境的复杂性、不变量的不同性,例如处理时间、执行框架,以及系统的安全性、准