论文部分内容阅读
微光图像通常是指在照度小于0.1勒克斯(lux)的环境下获取的图像。微光图像因其在夜间等低照度条件灵敏的成像能力,已经在军事侦察、公安反恐、航天遥感、安防监控等重要领域发挥着关键的作用,相关需求也越来越迫切。然而由于光照条件差,成像设备的感光元件获得能量不足,微光图像存在“信噪比低”、“对比度低”和“分辨率低”等缺陷,不仅降低了低照度条件下图像目视解译能力,而且难以为后续处理提供有效的特征信息,特别是较低的空间分辨率无法全面反映目标细节信息,已经成为制约微光图像应用的最大瓶颈。因此,微光图像超分辨率可以突破当前传感器的成像限制,提升微光图像质量,从而扩宽微光图像的应用覆盖面,进一步提升光学成像系统全天时成像效能。然而,目前缺少针对微光图像特性的超分辨率算法,本文在对微光图像特性研究的基础上,提出有效的微光图像超分辨率算法,不仅有着非常重要的理论意义,而且具有十分重大的实际应用价值。 本文基于目前先进的机器学习和模式识别理论,尤其是回归理论,以微光图像超分辨率为研究主线,借鉴已有的自然图像超分辨率技术,通过分析微光图像数据特性,提出了三种微光图像超分辨率算法。本文的研究内容主要包括: 1)基于局部半监督回归的微光图像超分辨率。结合半监督学习理论,针对高分辨率微光图像比较难以获取、因而用于学习的带标签样本比较少这一问题,利用大量低分辨率微光图像来辅助学习。该方法基于经典监督学习中的线性回归理论,根据半监督回归中的“流形假设”,利用有标签和无标签训练数据共同构建拉普拉斯正则项,使得学习到的映射矩阵更加准确。模型优化采用经典的梯度下降法,并存在闭合形式解。实验结果证明了半监督回归对于微光图像超分辨率的有效性。 2)基于多任务高斯过程回归的微光图像超分辨率。微光图像成像原理和噪声产生机理十分复杂,因此最常用的基于重构的超分辨率算法不再适用于微光图像质量提升。我们提出采用判别式方法,直接建立源图像与目标图像之间的映射关系。另一方面,由于微光图像噪声类型复杂,简单的线性映射等参数化模型往往无法准确地刻画低分辨率和高分辨率之间的关系。通过对大量微光图像进行统计特性分析,发现微光图像相比于正常光照图像具有以下两个特点:1)相邻像素更相似,2)局部像素间的相关系数更大。针对微光图像以上特点,我们采用多任务高斯过程回归这一数据驱动的概率化方法来推断二者之间的映射关系。该方法在高斯过程回归(GPR)模型的基础上,将利用GPR预测一个像素作为一个任务,利用多任务高斯过程回归模型来预测整个图像块。该模型考虑了多个输出(目标像素值)之间的相关性,利用已经观测到的输出值可以辅助对未知像素的推断。模型超参数的优化采用期望最大化方法。实验结果表明该方法相比于基于多个独立GPR模型的超分辨率算法可以提升微光图像超分辨率结果,证明了算法的有效性。 3)基于多回归器联合学习的微光图像超分辨率。在“先聚类后学习”这类分阶段处理的超分辨率算法当中,聚类和映射学习这两个步骤是单独处理的,因此对于最后学习到的映射函数未必是最优的。此外,微光图像的“信噪比低”和“对比度低”的特点使得微光图像块聚类结果不准确。针对以上两个问题,为了更好地利用训练数据从而学到更准确和泛化性能更好的低/高分辨率微光图像块之间的复原函数,我们提出将聚类操作和函数学习进行联合优化。将学习过程中的重构误差引入到聚类过程中,使得聚类结果不仅考虑源图像空间信息(低分辨率图像块之间的相似度),也考虑目标图像空间信息(重构误差)。在优化过程中采用类似期望最大化的方法迭代优化聚类中心和线性映射函数(即矩阵)。实验结果表明,提出的方法相比于分阶段处理的超分辨率算法可以更好地对微光图像进行分辨率增强,同时学习到的映射函数有很强的数据表达能力。