论文部分内容阅读
分辨率是反映图像信息丰富度的重要度量,高分辨率的图像在很多领域有着重要的意义。单幅图像超分辨率是指由一幅低分辨率的图像重建出高分辨率图像的技术,是图像复原领域的研究热点。目前,很多超分辨率算法存在计算复杂,重建时间长,重建结果缺失细节信息,容易模糊或者有严重块效应等不足。针对上述问题,本文基于深度学习思路对超分辨率算法展开研究。(1)对超分辨研究现状进行了深入调研,详细阐述了超分辨率及深度学习的理论基础。(2)基于条件生成式对抗网络(cGAN)的超分辨率模型,针对encoder-decoder对称结构的生成网络,设计新的skip跳接结构,并引入图像马尔科夫随机场设计了 PatchGAN判别网络结构。其中,skip跳接结构实现输入输出间低层信息的跨层传输,而PatchGAN只对单个图像块判断真假,有效减少了需要训练的参数数量。为了更好地保持低频信息并恢复高频信息,本文设计了融合对抗损失项和L1损失项的生成网络损失函数,对抗损失项用于合成图像精细纹理结构,L1损失项便于低分辨率图像整体结构的学习。实验结果表明,所提算法合成的图像细节更加丰富,能有效减小过平滑现象。(3)结合人眼视觉显著机制的像素值概率模型,设计了融合PixelCNN和残差网络的超分辨率重建深度网络结构。其中,PixelCNN能有效学习到像素点序列间的相互关系,残差网络则学习高低分辨率图像之间的映射关系。为了提高重建速度,本文采用分区域重建的策略。首先,基于深度学习的方法生成图像的显著图,之后,对人眼感兴趣的显著区域采用本文提出的深度网络进行端到端重建,在非显著区域则进行快速插值重建。为减少人为调参的时间成本,还提出了基于贝叶斯优化的权重超参数自适应选择的方法。实验评价中,为使客观评价与人类视觉的主观感受一致,提出了结合视觉显著机制的客观评价指标。实验结果验证了本文算法在提升超小图分辨率方面的优越性。