【摘 要】
：
超分辨率重建指通过软件算法从低分辨率的图像、视频中恢复出纹理清晰的高分辨率图像或视频。近年来,超分辨率重建是图像处理领域中的研究热点,但仍然存在一些难以解决的问题:比如大多数网络存在计算量和网络参数过大导致无法实时重建的问题,使得超分辨率重建技术在视频监控等领域存在局限性:大多数超分辨率重建算法仅考虑帧内特征信息,忽略了视频序列的帧间相关;现有的浅层视频超分辨率重建网络对时域特性建模能力较弱、超分
论文部分内容阅读
超分辨率重建指通过软件算法从低分辨率的图像、视频中恢复出纹理清晰的高分辨率图像或视频。近年来,超分辨率重建是图像处理领域中的研究热点,但仍然存在一些难以解决的问题:比如大多数网络存在计算量和网络参数过大导致无法实时重建的问题,使得超分辨率重建技术在视频监控等领域存在局限性:大多数超分辨率重建算法仅考虑帧内特征信息,忽略了视频序列的帧间相关;现有的浅层视频超分辨率重建网络对时域特性建模能力较弱、超分辨率重建后视觉效果改善不明显等问题。尽管当前基于深度学习的超分辨率重建算法在图像质量增强领域取得了较好的效果,但是仍然难以满足人们日益增长的对图像视觉效果的需求。本文对上述问题进行了深入研究,提出了针对性的解决方案。主要的研究工作包括:1、本文在残差网络的基础上,提出了结合多尺度、多抽象度的卷积神经网络来实现特征提取,并对提取的各局部特征与全局特征进行融合,从而充分利用不同尺度、不同抽象程度特征信息进行超分辨率重构,提出了轻量级高性能超分辨率重建算法。以1920×1080作为高分辨率图像,处理器为2080TI,本文算法对低分辨率影像（640×360）进行3倍超分辨率重建,速度达到18帧/秒;（480×270）进行4倍超分辨率重建时,速度达到22帧/秒。同时在标准测试集上将新算法与经典轻量级超分算法进行了详细对比测试,峰值信噪比（PSNR）和结构相似度（SSIM）指标得到提升,视觉效果也有一定的改善。2、针对现有单纯的超分辨率重建算法大多难以满足人眼对视觉效果的需求的问题,本文将图像超分辨率网络与图像颜色校正网络相结合,对超分后的图像数据通过深度学习训练得到的3D查找表进行颜色校正,在几乎不影响速度的前提下（￡10ms/帧）,使超分辨率图像视觉效果进一步增强,在提高图像分辨率的同时,解决了超分辨率重建后视觉效果改善不明显的问题。3、针对图像超分辨率无法利用帧间特性及现有的视频超分辨率重建算法难以在时域建模的问题,本文基于循环卷积神经网络,改进传统的残差结构,设计新的循环残差卷积神经网络,实现快速的视频超分辨率重建,在保证效果的前提下,尽可能减少网络参数和计算量,加快重建速度,在NVIDIA-RTX2080TI上,实现了针对480×270低分辨率图像的实时4倍超分辨率重建,速度达到24帧/秒,提高算法实用性。4、本文在Ubuntu16.04系统,QT平台上搭建了四路视频超分辨率重建监控系统,采用本文新的帧内超分辨率重建网络,结合颜色校正网络,以1920×1080作为高分辨率图像,实现了20帧/秒的超分辨率重建及颜色增强,并且具有良好的视觉效果。
其他文献
在仓储、超市和物流等场所的货物管理中,准确快捷的物品定位信息指示有利于高效率地存取货物或商品。目前对于定位后的物品指向问题,相应的优化解决方案较少,还需要依靠传统的方式,根据特定标记号进行指向,难以快速准确获取目标位置信息。本文将超宽带定位技术与光束灯控制技术相结合,利用现有的舞台光束灯定位指向,为用户提供直观而精确的货物位置信息,以提高寻找货物的效率。UWB定位技术可达厘米级的定位精度,工作在射
随着车辆增加和道路环境的复杂化,智能交通系统在提高行车效率和缓解交通拥堵问题上起到了重要作用。智能监控系统作为智能交通系统的关键一环,对监督车辆规范行驶具有重要意义。由于天气变化及车辆运动,导致智能监控系统抓拍的图像存在模糊现象。交通模糊图像复原已成为交通违规取证中亟需解决的难点,传统方法无法满足复杂交通图像的复原问题,本文以深度学习为基础,进行交通模糊图像复原算法的研究。主要工作如下:根据当前模
为了满足不同传输速率的协议要求,高速串行解串器（SERDES）等串行数据收发电路需要收发不同速率的数据,使得对收发器的带宽需求越来越大;另一方面,由于串行数据的抖动主要由片内高速时钟决定,随着数据收发速率越来越高,对采样时钟的要求也越来越高,更进一步提高了对采样时钟的性能要求。因此,对于SERDES应用的时钟源既需要输出较宽范围频率的采样时钟,也需要采样时钟具有较低的抖动。基于6Gbps串行信号发
随着我国工信部将5G通信频段开放,5G网络传输日渐渗透于人们生活的方方面面,5G通信频段的功率放大器（PA）引起了越多越多研究人员的研究兴趣。因国际局势变化和国内需求增长,应用于5G通信频段的功率放大器的设计、生产与制造显得尤为重要。5G网络传输时的信号频率比4G网络传输时的信号频率更高,信号波长更短,使得5G通信基站的信号覆盖半径更小,且高频信号在传输过程中损失会损失更多能量,即5G功率放大器必
良率是晶圆制造业非常重要的生产指标之一。晶圆测试中一些经典的缺陷类型在晶圆图中呈现圆、环、划线等基础图案,通过识别晶圆图中的主要图案有助于工程师追溯造成晶圆缺陷的根本原因。本研究针对快速、高效的分类晶圆图缺陷模式的问题,然而实际晶圆图数据集中某些类型数据的数量可能存在严重不足的现象。因此,本文使用深度卷积神经网络（DCNN）与迁移学习相结合的方法,实现对晶圆图9类缺陷模式的快速、有效分类。研究的主
现代社会对无人机的需求在持续增长,因为它能帮助人类完成一些困难或危险的任务,如农田监测、航空摄影测量、线路巡检等。其中,能在陌生环境中实现自主飞行任务的四旋翼无人机系统成为新的研究热点。虽然目前在传感器精度、同步定位与建图技术和路径规划技术等方面取得了不错的发展,但是在无人机自主导航技术方面还有待进一步的研究和改进。基于上述背景,本文对视觉惯性SLAM技术和路径规划技术进行了改进,设计了一套完整的
随着生活方式的改变,肥胖人数上升、运动量减少,几乎所有的国家出现的最常见的慢性病都包含糖尿病等基础疾病。因此制备出简单、高灵敏度、选择性好及稳定性好的葡萄糖传感器具有重大意义。由于酶葡萄糖传感器稳定性不好且制备工艺复杂,使得无酶葡萄糖传感器的研究受到更加广泛的关注。因纳米材料的特殊性质,用于制备无酶葡萄糖传感器,是当前的研究热点。本文以铜纳米粒子（CuNPs）、钴纳米粒子（CoNPs）、金纳米粒子
人工智能技术正在深刻地的影响着当代社会。凭借在机器视觉和语音识别等领域的重大突破,神经网络已成为现代人工智能的核心技术方案。然而,运行在传统硅基芯片数字平台上的人工智能算法,在很大程度上受到摩尔定律接近终结和传统冯·诺伊曼架构的限制,使得该方案的能效（性能功耗比）较差。因此迫切需要一种超越CMOS技术的新型神经形态计算体系结构。近年来,忆阻器（一种具有记忆功能的阻变器件）因其快速高效的矩阵向量乘法
近年来,具有高禁带宽度、高击穿电压、高饱和电子迁移速率等优点的氮化镓（GaN）材料在高压、高温、高频和高功率等领域大放异彩。然而,GaN高电子迁移率晶体管（GaN HEMT）器件实际测量击穿电场远小于GaN材料理论击穿值。本论文针对GaN HEMT器件击穿电压提升,从器件耐压机理出发提出了三种耐压新结构并通过Sentaurus TCAD仿真软件模拟验证。（1）为解决GaN HEMT器件缓冲层漏电,
太赫兹（THz）波是一种介于微波和红外波之间的电磁波,且尚未被完全开发利用,基于亚波长的电磁超材料为调控太赫兹光赋予了更大的操作空间,相比传统材料,超材料拥有前者所不具备的物理属性,其电磁响应只取决于周期的几何结构。特别是在太赫兹频率下,采用电磁超材料设计的吸收器具有完美吸收率、体积小巧等优点,在生物传感、能量收集等领域有着重要的应用价值。传统超材料吸收器的周期结构一旦确定,其工作频段也因此确定,