论文部分内容阅读
随着科技的发展,图像已经成为人们获取信息的重要载体,而大多数基于视觉的应用都依赖于含有丰富细节信息的高质量图像。从信号处理的角度来看,图像超分辨率重建的目的是根据系统输入的一张或者一系列低分辨率图像来计算并恢复丢失的细节信息从而重建对应的高分辨率图像。大部分现有的超分辨率方法在干净的数据上取得较好的效果,然而受到硬件设施和外界环境条件的限制,我们从成像终端所获取的一般都是带有噪声的低分辨率图像,噪声的引入给超分辨率带来了新的挑战。近年来,基于学习的方法能够从大量现有的有效数据中训练得到低分辨率流形和高分辨率流形之间的映射关系,并且产生了良好的重建效果,成为超分辨率领域的研究热点。本文主要针对具有不同维度的低分辨率图像研究基于学习的超分辨率方法,主要包括模型驱动的传统优化方法和数据驱动的深度学习方法。本文把受到广泛应用的人脸图像和高光谱图像作为研究对象,主要研究内容总结如下:
1)针对受到混合噪声干扰的低分辨率人脸图像,本文提出基于加权特征空间多尺度编码模型的鲁棒超分辨率方法。该模型通过根据像素的置信度在损失函数中加入权重向量来强调干净像素的贡献,从而抑制噪声信息对数据表示产生的影响。并且通过减去均值的方式获取加权脸的特征脸,在特征空间中避免亮度不一致的问题。此外,为了充分挖掘本地局部信息,我们在加权特征空间中对多个尺度的图像块进行联合表示,多尺度联合编码能够融合不同尺度的图像块之间的互补信息,为后续的超分辨率重建生成更精确的编码系数。定量测量和视觉评估结果都表明,该方法产生的人脸图像优于其他方法获得的图像。
2)针对携带有噪声的高光谱图像,本文提出了一种鲁棒的通道加权约束空谱特征学习网络。该网络通过融合多光谱图像中存在的干净的高分辨率空间信息来提升高光谱图像的空间分辨率。网络的核心思想是采用全局池化生成的通道描述符对通道特征进行重加权,解决了现有的基于卷积神经网络的方法平等地处理通道特征的缺点,利用注意力机制提高网络对空谱特征的学习和表达能力。此外,为了提升网络的鲁棒性,本文提出一阶梯度特征误差损失函数,并将其与传统的均方误差损失联合加权来学习网络参数,从而使网络能够抑制噪声对图像边缘和纹理产生的影响。该方法经实验证明在定量测量和视觉评估方面具有有效性。
本文的研究成果在视频监控和遥感监测等领域有重要应用价值。
1)针对受到混合噪声干扰的低分辨率人脸图像,本文提出基于加权特征空间多尺度编码模型的鲁棒超分辨率方法。该模型通过根据像素的置信度在损失函数中加入权重向量来强调干净像素的贡献,从而抑制噪声信息对数据表示产生的影响。并且通过减去均值的方式获取加权脸的特征脸,在特征空间中避免亮度不一致的问题。此外,为了充分挖掘本地局部信息,我们在加权特征空间中对多个尺度的图像块进行联合表示,多尺度联合编码能够融合不同尺度的图像块之间的互补信息,为后续的超分辨率重建生成更精确的编码系数。定量测量和视觉评估结果都表明,该方法产生的人脸图像优于其他方法获得的图像。
2)针对携带有噪声的高光谱图像,本文提出了一种鲁棒的通道加权约束空谱特征学习网络。该网络通过融合多光谱图像中存在的干净的高分辨率空间信息来提升高光谱图像的空间分辨率。网络的核心思想是采用全局池化生成的通道描述符对通道特征进行重加权,解决了现有的基于卷积神经网络的方法平等地处理通道特征的缺点,利用注意力机制提高网络对空谱特征的学习和表达能力。此外,为了提升网络的鲁棒性,本文提出一阶梯度特征误差损失函数,并将其与传统的均方误差损失联合加权来学习网络参数,从而使网络能够抑制噪声对图像边缘和纹理产生的影响。该方法经实验证明在定量测量和视觉评估方面具有有效性。
本文的研究成果在视频监控和遥感监测等领域有重要应用价值。