论文部分内容阅读
基于学习方法的单帧图像超分辨率重建是指利用训练阶段学习到的高低分辨率图像间的映射关系来将一幅低分辨率图像还原成高分辨率图像的过程。基于深度学习的超分辨率重建算法相对于传统算法的性能有大幅度提升,但重建图像的感知质量距离人类视觉感受还有一定的差距,本文针对基于深度学习的超分辨率重建算法存在的问题作了深入的研究,并提出了三个新的超分辨率重建算法,取得了较高的客观评价指标和较好的主观视觉效果。(1)提出一种基于增强Inception单元的单帧图像超分辨率重建算法。针对现有超分辨率重建算法忽视相邻卷积层提取特征的相关性这一问题,该方法通过构建基于通道组合和残差连接的增强Inception单元来融合不同尺度卷积核提取的相邻卷积层特征,进而增强相邻卷积层的相关性。针对中低层特征利用率低,导致重建图像质量难以提升这一问题,该方法将构建的单元通过残差连接组成一个局部结构,在网络从输入到输出的整个过程中获得多个相同的局部结构,最后将这多个局部结构得到的中低层特征信息以递归的方式整合到重建层来丰富输出端的特征信息,进而提升重建图像质量。实验结果证明基于增强Inception单元的超分辨率重建算法的重建图像质量优于其他算法。(2)提出一种基于自注意力机制的单帧图像超分辨率重建算法,该方法包括基于自注意力机制的整体对抗网络和基于图像块的局部对抗网络两部分。针对重建纹理时受到局部感受野的限制这一问题,该方法使用基于自注意力机制的整体对抗网络来获取图像的非局部信息,进而利用了更全局的信息来重建纹理。基于生成对抗网络的超分辨率算法重建出来的图像质量符合人眼感受,但局部纹理不够“真实”,针对这一问题,该方法基于图像块的局部对抗网络判别重建图像块和原始图像块的真假性,使得重建图像块局部纹理的自然程度逼近原始图像块,从而显得更加“真实”。实验结果证明该方法能在获取较“真实”局部纹理的同时获取图像的非局部信息,进而使得重建图像与原始图像有较大的相似度。(3)提出一种基于纹理选择和边缘保留的单帧图像超分辨率重建算法。现有的图像超分辨率重建算法大多是针对包含单一下采样失真的低分辨率图像的标准库进行设计的,然而真实场景失真图像通常包含多种混合失真,因此这些算法在真实场景失真图像上的重建效果并不理想。为了解决这个问题,该方法从真实场景失真图像的自身特性来进行超分辨率重建。针对图像纹理的恢复,该方法通过横向模块来选择性地对浅层的纹理信息进行保留,针对图像边缘的恢复,该方法利用L1和SSIM混合的损失函数来使得重建图像的边缘更加锐化。为了进一步提升重建图像的质量,该方法采用平滑空洞卷积来扩大输出特征的感受野。实验结果证明该方法在标准数据集和真实场景失真测试图像上都能对纹理和边缘进行了有效还原。