论文部分内容阅读
提高图像分辨率是许多图像处理任务中的重要环节,但是直接从硬件方面着手可能会面临一些难以克服的技术难题,因此从软件方面解决分辨率问题十分必要。超分辨率图像重建是一种利用同一场景下观测到的一张或多张低分辨率图像重构出一张高分辨率图像的方法,该方法使用信号处理的方式有效地提高了图像的分辨率,满足人们的视觉需求。卷积神经网络是一种典型的深度学习模型,由于其含有隐含层的结构,卷积神经网络可以就已学习到的特征进行再次学习,得到更复杂的特征。耦合深度自编码器是一种基于深度结构的卷积网络模型,采用该模型进行超分辨率图像重建,卷积神经网络被视为编码器和解码器,将低分辨率图像经过卷积网络编码后得到的“码元”输入到映射网络中可得到高分辨率图像块的“码元”,最后再利用卷积网络对高分辨率图像的码元进行解码,得到最终输出的高分辨率图像。耦合深度自编码器在单帧图像的超分辨率重建中取得了很好的重建结果。本文主要针对耦合深度自编码器进行了研究,给出一种改进的卷积神经网络结构。在编解码网络结构设计方面,增加跳跃连接以保证编码器网络的深度;在映射层网络结构设计方面,增加NIN(Network In Network)结构以加强映射能力;为了减少训练时间,使用残差图像来代替高分辨率图像作为输出。本文采用了预训练的方式,首先利用高低分辨率图像块样本对,分别训练低分辨率编解码网络和残差编解码网络,使其输入和输出均为低分辨率图像和残差图像。然后利用码元训练映射层网络,使其能够准确地将低分辨率图像的码元映射为残差图像的码元。接着将预训练后的低分辨率编解码网络的编码部分、映射层、残差编解码网络的解码部分组合成一个完整的超分辨率网络。最后对系数进行微调,将输出的残差图像与经过双三次方插值后的低分辨率图像相加,得到改进的卷积神经网络超分辨率图像重建网络。超分辨率重建中图像纹理还原是影响图像重建质量的关键问题,为此,本文采用了结合图像纹理分割的改进卷积神经网络超分辨率图像重建算法。在基于相对总变差提取图像纹理的方法上进行改进,获得了较好的图像纹理掩膜,有效地将图像的纹理区域和平滑区域分割开,对图像的纹理区域采用改进卷积神经网络进行超分辨率图像重建,以减少重建时间,提高效率。实验结果表明,本文算法能在保证重建质量的情况下,较大程度地降低重建图像所需的时间。