论文部分内容阅读
高分辨率图像包含丰富的细节和敏感的色彩。在很多应用场合如视频监控、医疗诊断、文本识别等都急切需要获取高分辨率图像以提高后续处理的效果和准确性。图像超分辨率重建技术指的是从低分辨率图像或图像序列重建出一幅或者多幅高分辨率图像的过程。该技术利用软件的方法,提供了一种在不增加硬件成本的前提下提高图像分辨率的方式。近年来,基于学习的图像超分辨率引起了很多学者的关注,其核心思想是建立低分辨率图像到高分辨率图像一种非线性映射。循环神经网络在处理数据时其输入输出关系通过激活函数的作用进行连接,而这种关系可以看成是一种高度的非线性映射。另外,循环神经网络结构的特殊性使其能够对前面时刻输入数据进行记忆并作用于当前的输入中,具有更高效的并行处理能力和学习能力。本文研究了基于循环神经网络的图像超分辨率算法,主要工作如下:首先,提出一种基于循环神经网络(Recurrent Neural Network,RNN)的图像超分辨率重建算法。本算法将循环神经网络作为映射模型,通过网络的自主学习来获得高、低分辨率图像之间的一种非线性映射关系。我们将大量的高、低分辨率灰度图像直接进行取块处理和归一化组成样本库。然后,通过训练阶段将网络权重进行更新,得到理想的网络结构。最后利用训练完成的网络进行重建,获得高分辨率图片。实验结果证明,此算法恢复的高分辨率图像边缘效果较好,纹理细节较为丰富。通过与其他算法对比,此算法能够获得较高的PSNR值和较短的时间消耗。其次,考虑到RNN训练过程中由于时间维度上的层数过深而容易导致梯度爆炸和梯度消失现象,这使得学习过程不能进行长时间的依赖而对重建图像质量造成不利影响。因此,提出一种基于长短期记忆(Long Short-Term Memory,LSTM)神经网络的图像超分辨率重建算法,该算法将LSTM网络作为一种新的映射模型来进行学习。通过加入门控装置,将RNN结构加以改进,能够有效的避免网络训练过程中梯度消失现象的发生。实验结果表明,所提算法在视觉感受和客观数据评价上都有较好的重建效果。最后,由于LSTM网络模型结构复杂,在训练过程和图像重建过程都存在着较长的时间消耗。针对该问题,提出了一种基于门限循环单元(Gated Recurrent Unit,GRU)神经网络的图像超分辨率重建算法。GRU网络作为LSTM的一种改进网络结构,缩减了门控装置的数量,既能够解决梯度消失问题,又可以改善LSTM网络的耗时问题,提升了网络运行效率。实验结果表明,通过GRU网络模型恢复出来的高分辨率图像不仅具有较高的PSNR值和较好的视觉效果,而且明显的提升了运行速度。