基于3DCNN和Non-Local的图像超分辨率研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:andacaizheng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着现代信息处理技术及图像传输技术的飞速发展,人们对数字图像能够表达信息的能力要求越来越高。图像超分辨率(Super-Resolution,SR)是一种提高数字图像分辨率的技术,在数字图像处理领域应用广泛。图像超分辨率可以将低分辨率(Low-Resolution,LR)的图像重建恢复出一张高分辨率图像(High-Resolution,HR)。高分辨率技术通常在硬件和软件层面上实现,在硬件层面上,图像超分辨率的实现仍存在诸多限制,比如物理成像的局限等问题。在软件层面上,图像超分辨率利用时间带宽换取空间分辨率,可以有效克服硬件的局限。当前在软件层面的图像SR分成基于插值、基于重构和基于学习三大类。目前基于学习是研究的主流方向,通过利用大量数据进行训练学习出LR域到HR域的映射关系,从而指导图像的重建。在深度学习领域,卷积神经网络(Convolutional Neural Network,CNN)凭借着其优秀的学习能力在SR领域得到了广泛的应用,但是大部分CNN算法并没有考虑到图像非局部相似性,而非局部信息被证实在图像重建过程中可以有效地提升性能。本论文针对传统CNN算法无法有效提取图像的非局部特性的问题开展研究工作。工作内容包括:1.本文提出一种基于3D卷积神经网络(3D Convolutional Neural Network,3DCNN)的图像超分辨率方法。该方法采用主成分分析(Principal Component Analysis,PCA)随机对部分数据集进行降维处理,去除冗余信息并保留相似信息,其余数据集用来确保包含基本信息。本方法利用传统块匹配和K最近邻(K-Nearest Neighbor,KNN)算法选择K个相似的图像块作为基本单元输入到网络中充当第三维信息,构建3D卷积神经网络用来提取图像块集中的局部和非局部信息,最后从增强的图像块中重建出SR图像并通过图像自融合操作使得图像表征得到更好的效果。网络架构采取8层全卷积的基础模型,引入残差网络用来解决模型深度所带来的梯度消失或爆炸问题;同时,借鉴递归神经网络(Recursive Neural Network,RNN)思想,采用循环单元,实现参数共享,降低网络复杂度;最终,实验结果显示图像超分效果相比传统CNN算法得到改善。2.本文提出一种基于非局部操作(Non-local operation,Non-local)的图像超分辨率方法。该方法基于Non-local混合残差结构网络在2D层面上提取图像的非局部相似性,降低了 3DCNN的时间复杂度并且加强了图像块在网络层面的联动。对3种不同Non-local混合残差结构的计算复杂度和重建性能进行对比,并将引入了Non-local混合残差结构的网络模型和常规CNN算法进行了对比,实验结果表明引入混合残差结构的网络模型能取得更好的效果。
其他文献
近些年,世界的科技水平得到了巨大的提升,移动支付,即时通信,远程控制等新兴技术在为人类活动带去便捷的同时,也提高了人们的生活质量。科技的进步源于知识的不断发展,知识的发展需要学者的不断研究与创新。随着科研学者对推动世界文明进步的重要性日渐突出,对于学者进行相关研究也逐渐增多。学者画像技术作为开放的互联网环境中精准获得学者信息的方式,有着辅助管理者进行管理,协助完成学者多方面信息推荐,促进科学发展的
学位
在中美博弈的背景下,国家面临的重大问题愈加复杂,其解决途径已超出了单一学科的范畴,跨学科知识相互融合成为发展趋势。党中央、国务院高度重视交叉学科发展,习总书记在科学家座谈会上鼓励高校开设交叉学科专业,倡导加强跨学科学术交流。学科交叉主题蕴含着学科发展前沿和重大突破,对其有效识别能够帮助研究者挖掘新的学科生长点。但现有识别方法存在角度单一、输出结果简单等问题,缺乏考虑作者的自组织性,不利于有组织地攻
学位
随着电子商务市场的兴起以及国内日益完善的物流网络,使得网络购物已经成为和线下实体购物一样重要的存在。电商平台作为网络购物的载体也得到快速的发展,并且近些年平台间的竞争也越加激烈,而促销就是平台间竞争的重要方式之一。促销可以帮助平台发掘潜在需求,挤占对手的市场份额,而且对提升平台与卖家利润也十分有益,但平台促销的同时要兼顾促销所带来的成本,否则会导致需求上升而利润下降。同样,面对平台促销时,卖家要决
学位
随着生物技术的迅速发展与我国人民日益增长的卫生医疗需求,我国生物医药产业也在高速增长,一方面生物医药企业的发展符合国家从医药大国转向医药强国的需求,另一方面也为投资者带来了更多的投资渠道。这无疑对生物医药企业的投资需求与估值提出了要求,对企业进行合理的估值一直是投资中的重点。长久以来,学术界已有多种不同的估值方法,但是不同的方法存在多种差异,估值结果也有区别,如何选择合适的估值方法是个问题。生物医
学位
随着互联网医疗的快速发展,在线健康社区越发成为用户获取健康信息服务的重要平台。但是,由于许多用户缺乏一定的医疗知识和健康素养,加上在线健康社区的网络虚拟性和信息冗杂性,其中的健康信息真实性难以判断,导致许多在线健康社区的用户对社区平台上的健康信息的信任度一时难以提高。用户担忧万一自己采纳的是错误的健康信息来改善自己的健康状况,可能会拖延自己的治疗进展,耗费时间与金钱,甚至危及自己的生命健康。所以,
学位
快递服务质量对电子商务企业的客户体验存在显著的直接影响,在新冠肺炎疫情防控常态化背景下,线上消费习惯的延续与巩固更凸显了快递服务质量对电子商务企业在市场竞争中的关键性。快递系统作为一个复杂系统,除了存在于系统内部的组织协调外,与外部也存在着大量物质、信息和能量等的交换。在快递配送过程中,交通事故、恶劣天气和网络瘫痪等意外的发生会导致快递服务的中断或延迟等,使快递系统的可靠性降低,电商企业的破损和运
学位
随着共享经济以及“绿色环保、低碳出行”理念的兴起,共享电动汽车这一新兴项目正在蓬勃发展。同时,这使得人们的出行方式和出行行为发生了一定的改变。现如今,越来越多的人们开始使用共享电动汽车或者共享行程等方式出行。与公共交通相比较,共享电动汽车可以给人们提供更高的出行舒适度;同时,相较于使用公共交通出行需遵循既定的路线和时间表,共享电动汽车可以允许人们更加灵活的进行出行安排。自2017年开始,共享电动汽
学位
目标检测的目的是找到目标的位置,并判断出目标所属类别,而高准确率且低运行时延的目标检测算法一直是计算机视觉领域学者们研究的一个核心技术。随着深度学习的迅速发展,基于深度学习的目标检测算法性能越发强大,使用深度学习实现目标检测成为一个趋势。本文以FPGA和DSP芯片为核心,设计并实现了一个具有实时目标检测功能的嵌入式系统。以下为本文的主要工作内容与改进点:(1)经过资源评估和芯片选型,本文选用XC7
学位
随着研究及应用的不断深入,无人机逐渐从人工操作、单机、预定路径飞行和单任务发展到智能化、大规模机群、动态路径飞行和多任务。因此,实现无人机之间、无人机机群与控制中心之间数据和控制消息的高效传输逐渐成为研究热点。相比传统自组织网络,无人机节点的高机动性使其网络拓扑更易发生变化,对路由算法性能要求更高;同时,无人机一旦升空,电池能量也无法得到补充,通信能量开销也变得无法忽视。因此,亟需研究一种能量开销
学位
作为现代战争中的“千里眼”,合成孔径雷达(Synthetic Aperture Radar,SAR)可以对环境进行实时二维成像,是获取战场情报的关键设备。其先进的工作体制以及优越性能使得对SAR进行干扰面临着诸多挑战:对SAR的压制干扰对干扰功率需求较高;对SAR欺骗干扰所需侦察参数难以实时精确获得,并且对计算资源需求较高。本文从SAR成像技术的基本原理出发,针对工程实践中SAR干扰技术实现难点,
学位