【摘 要】
:
近年来,数码变焦在智能手机和数码相机应用领域发挥着举足轻重的作用。实现数码变焦最直接的做法便是对拍摄图像进行超分辨率重构,而运用深度学习技术对图像进行超分辨率重构是当前的主流方案。当前多数基于深度学习的超分辨率重构方法都是使用人工合成数据进行网络模型训练,没有充分考虑到真实场景中存在的各种不定因素,例如拍摄时的相机抖动,相机自带的噪声以及镜头畸变等问题,所以这类方法在现实中的应用性能都会明显下降。
论文部分内容阅读
近年来,数码变焦在智能手机和数码相机应用领域发挥着举足轻重的作用。实现数码变焦最直接的做法便是对拍摄图像进行超分辨率重构,而运用深度学习技术对图像进行超分辨率重构是当前的主流方案。当前多数基于深度学习的超分辨率重构方法都是使用人工合成数据进行网络模型训练,没有充分考虑到真实场景中存在的各种不定因素,例如拍摄时的相机抖动,相机自带的噪声以及镜头畸变等问题,所以这类方法在现实中的应用性能都会明显下降。为了解决这个问题,本文使用相机长短焦镜头在真实场景下所拍摄的图像作为训练集,提出了基于可变形卷积的数码变焦算法和基于域转换的数码变焦算法。具体研究内容如下:(1)由于镜头畸变和相机抖动等因素,真实场景下获取的图像内容都不可避免的会出现几何形变。为了解决这个问题,本文提出基于可变形卷积的数码变焦算法。首先在网络的浅层中引入可变形卷积,提取图像在低层语义信息中的几何形变信息,然后在网络的深层使用标准卷积对特征进行整合,最后利用反卷积重构出数码变焦图像。同时扩展残差结构思想,增加了更大跨度特征层之间的残差学习,缓解梯度耗散带来的训练难度。通过对比实验,该方法重构出的数码变焦图像获得了最高的客观指标,证明了该方法的有效性和可行性。(2)上述研究虽然获得了较高的客观指标,但是重构出的数码变焦图像趋于平滑,对人眼的主观感受提升有限。此外长焦相机所拍摄的图像质量会受到不可抗力因素影响如相机噪声、相机硬件条件等,作为网络训练的目标会使网络最后重构出的图像质量存在一定的上限。为此,本文提出基于域转换的数码变焦算法,重点提升数码变焦图像的主观视觉效果。该方法将会引入额外的高清图像数据集,首先使用一个编码器将由高清图像人工退化后获得的低分辨率图像和短焦相机拍摄的图像映射至同一个隐空间,再使用另一个编码器将高清图像映射至另一个隐空间。最后使用一个卷积神经网络学习两个隐空间之间的映射,再通过一个生成器对映射过来的隐空间中的信息进行图像重构,使重构后图像的域变为高清图像域,最终获得噪声更小且对比度更高的数码变焦图像。实验结果表明,通过该方法重构出的数码变焦图像更符合人眼主观感受,比其他超分辨率重构方法具有更高的主观指标。
其他文献
车辆再识别作为智慧城市的核心技术之一,目的是在多个不重叠的相机视图中检索出感兴趣的车辆。当前突出的算法通常先对数据集进行大量的人工标注,让模型在额外标注的辅助下,能够更精确的关注到局部细节信息,进而提升最终的测试性能。但是额外的人工标注不仅十分耗费资源,还会降低模型的泛化能力。针对以上问题,本文在福建省与福州市重点科技项目(2018H0018、2020-GX-17)的支持下,围绕基于深度学习的车辆
随着城市交通的迅猛发展,要实现对交通状况直观、高效的管理,交通视频监控已成为必不可少的技术手段。针对交通路口的视频监控,传统多路视频组成电视墙的监控方式,存在视频利用率低、单个摄像头视野局限性、信息缺失以及多视角显示凌乱等问题。全景视频是将多个视频流的重叠区域进行拼接,能在不降低分辨率的同时有效扩大监控人员的视野,已成为交通监控领域的研究热点。本文在分析交通视频监控需求的基础上,研究了视频拼接的相
多线圈磁谐振传输系统凭借着安全灵活、传输距离远的特点,引起了广大研究学者的关注。多线圈的结构非常适合采用波束赋形技术来提高传输距离和效率。如何在多个线圈中分配发射功率,是波束赋形设计中最重要的一个问题。因此,本文以多线圈磁耦合谐振传输系统的波束赋形策略为研究对象,针对物联网中的应用场景,设计了三种磁波束赋形优化方案。论文的研究内容和贡献如下:(1)针对单中继单接收机的无线能量传输应用场景,提出了一
当今时代,人们追求更佳的视觉体验和更丰富的信息,现有的灰度图像着色算法可分为基于用户引导的颜色传播类算法、基于参考信息的半自动着色算法和基于数据和算力驱动的自动图像着色算法。前两种算法由于其本身的特点,而受限于使用场景和规模程度,第三类算法是顺应时代发展的产物,结合人工智能算法的研究进展、图像显卡设备的性能突破和大数据时代的到来,基于深度学习的灰度图像自动着色算法表现优异,从众多方法研究中脱颖而出
行人再识别用于解决在不同摄像头中匹配出相同个体的问题,是跟踪抢劫、防止恐怖袭击等安全关键事件研究的核心技术。然而,它面临着数据集规模小、错位影响、光照强度变化、背景干扰等多种巨大挑战。本文的目标是研究并实现具有鲁棒性且性能优越的行人再识别算法,为现有数据集背景噪声大和规模小的问题提供解决方案。针对以上问题本文在福建省科技厅项目(2018H0018)和福州市科技局项目(2020-GX-17)的支持下
目前人体三维重建方法大多采用融合目标多视角图像或视频图像的方式进行研究。这类方法通常需要昂贵的实验设备、复杂的实验场景,因此该类方法难以在实际场景中推广运用。相对而言,利用单幅图像进行人体三维重建的方法便捷高效,更利于在实际项目中使用。本文在当前基于单幅图像进行人体三维重建的方法基础之上进行优化,目的是提升输出人体模型的精度以及恢复人体在着装情况下的模型表面纹理。主要研究工作如下:(1)分析了基于
面对日益严重的交通问题,国内外专家学者采取多种措施来缓解,其中,发展先进的城市道路交通管理与控制系统是解决目前交通问题的最佳选择之一。道路交通信号控制的类型多样,不同的信号控制系统有不同的信号方案优化算法和与此类算法相匹配的综合控制软件。相位差优化算法是区域信号方案优化和干线协调信号方案优化不可缺少的算法之一。道路交通信号控制的三个要素是相序、周期和绿信比,它们是单点路口信号控制的核心参数。根据交
为了应对环境污染、化石能源匮乏等问题,光伏(PV)发电作为一种主要清洁可再生能源得到了迅速发展。光伏电站直流侧光伏阵列工作在无人值守的复杂室外环境中,容易因故障导致发电功率下降甚至产生安全隐患。光伏组件建模、光伏阵列在线故障监测,对确保光伏系统正常运行具有重要意义。本文主要开展基于机器学习和I-V输出特性的光伏组件建模和光伏阵列故障诊断研究。首先,建立光伏发电系统的仿真模型并研究了标准工作条件下光
钢丝绳对社会的工业生产和经济的支撑都启到了重要的作用。在建筑工程项目中,由于其特殊的材质和结构上优越的可承载性,起重机械都使用它为主要承重构件来进行作业。而在起重机械工作过程中,受到摩擦、腐蚀、过载等各种因素的影响,会引发形变、断丝等缺陷故障,没有及时地检测更换,瞬时引发断裂导致严重的安全事故。故本文以“数字图像处理+卷积神经网络+系统平台”为基础研究架构,对钢丝绳断丝、笼状、纽结、绳股突出、咬绳
图像检索是计算机视觉领域的热门研究方向,商标图像检索作为其中的一个细分和典型应用领域,在生活中有许多实际场景如商标合法性检测、品牌商业分析、电商平台的商品搜索及推荐等涉及到商标图像分析的场景,具有重要的研究意义。本课题在对现有的图像检索技术,尤其是商标图像检索技术进行分析调研的基础上,结合现有技术的一些局限性,提出了改进措施,主要工作如下:(1)实际场景中商标常具有图像背景复杂、分辨率高、尺寸差异