论文部分内容阅读
图像是人们传递信息的重要载体。然而,由于成像设备的局限性和外部环境因素的限制,人们所获取的图像通常是原始高分辨率(High-Resolution,HR)图像退化后的低质图像,也称为低分辨率(Low-Resolution,LR)图像。通过算法方式从LR图像中恢复其原始HR图像的图像超分辨率(Super-Resolution,SR)重建技术以其低成本,良好替换性和重建效果吸引了大量关注,并在医学、公共安全、航空航天和国防等领域有广泛应用。本文围绕单幅图像SR重建问题展开深入研究,尝试从一幅输入的LR图像中重建其对应并且具有锐利边缘和清晰纹理细节的HR图像。由于原始HR图像在退化成低质的LR图像过程中存在大量边缘和纹理细节信息丢失的现象,因此HR图像重建存在严重的病态问题。为了解决这一个病态问题,研究者从不同视角(例如数字信号处理、机器学习和计算视觉等)提出了大量解决方法,有效重建HR图像的同时也带来了一些新的问题。为此,本文首先系统阐述图像SR重建研究的背景、意义及现状,并在此基础上分析其存在的难点问题。针对存在的问题,本文提出三种探索性的图像SR重建方法,具体如下:(1)针对基于稀疏表示的图像SR重建方法训练的过完备稀疏字典不能精确描述LR和HR图像特征空间之间复杂的、空间变化的非线性映射关系,提出引入SORM(Structured Output Regression Machine)模型在稀疏表示空间进一步建立LR和HR特征空间稀疏表示系数的映射函数,以获得更为精确的映射关系,提升重建HR的质量。同时,考虑到稀疏表示系数映射关系的特殊性,对传统的SORM进行改进,使其不仅可以考虑不同输出成分之间的相关性,而且可以考虑到其差异性,更适合学习稀疏表示空间中的映射关系。此外,还针对初始重建的HR图像可能并不满足于图像的退化模型和存在噪声引起的振铃效应,构建了一种改进的全局和非局部后处理优化,进一步提升重建HR图像的质量。(2)通过有效地利用输入LR图像像素之间的相关性,基于深度卷积神经网络的图像SR重建方法在重建质量和效率方面都取得了显著进步。但是目前的方法基本是以堆积卷积层的简单方式构建网络模型,不仅不利于挖掘模型潜能,还限制了模型可训练深度。为此,提出一种基于深度Laplacian金字塔卷积网络的图像SR重建方法。该方法以LR图像为输入,通过分布于Laplacian金字塔各层的IRESB(Inception Residual Block)卷积来逐级恢复HR图像丢失的边缘和纹理细节信息。同时,考虑到提出方法的网络模型具有较深的结构,模型训练精度的饱和及退化问题开始凸显,为此采用一种两阶段优化训练策略来充分挖掘模型潜能,有利于提高重建HR图像的质量。此外,还针对图像空间的L2范数损失存在一定的边缘平滑和细节模糊问题,构建基于图像空间和局部秩空间的损失函数。该损失函数可以在训练过程中探索模型不同输出成分之间的相关信息,有利于HR图像中锐利边缘和清晰纹理细节的重建。(3)近年来,基于深度神经网络的SR重建方法吸引了大量关注,并显著提升了HR图像的重建效率和质量。然而,由于该类方法的网络模型都是由只具有局部连接的卷积层组成,限制了模型的视野域,因而也限制了探索输入LR图像像素之间相关性的区域。为了探索更多输入LR图像像素之间相关信息,以提升重建HR图像的质量,一般需要堆积更多的卷积层,但是过多的卷积层会显著增加模型训练和重建的时间和内存消耗。为此,提出一种基于深度卷积网络和全连接重建层的图像SR重建方法。该方法以LR图像为输入,采用串联的残差卷积单元在LR空间提取特征,并在模型最后利用一层全连接重建HR图像。由于提出的方法不仅可以充分利用提取的全部特征信息对HR图像的每个像素的值进行预测,有利于探索输入LR图像的全局相关性,以提高重建HR图像的质量,还在LR空间提取特征,有利于降低模型训练和HR图像重建时间。此外,还构建一种具有边缘差异约束项的损失函数,进一步提升模型对细小边缘和纹理结构的重建。实验结果表明,本文提出的方法不仅在重建HR图像的主客观评价上明显优于本领域近年来的代表性方法,也显著降低了HR图像重建的时间消耗,有利于图像超分辨率技术的工程实践。