论文部分内容阅读
红外夜视图像在军事、医学、民事安全、监控、遥感等领域发挥着不可替代的作用。但是受其热辐射成像机理、大气传输和成像系统的限制,红外夜视图像往往呈现出对比度低、边缘模糊、细节表达能力弱等缺点,并不能充分发挥其优势。为获得更丰富的图像信息,提升红外夜视图像的信息表达能力,本文对超分辨率重建模型展开研究。针对红外夜视图像的特点,重点研究了红外夜视图像对比度增强及基于卷积神经网络的超分辨率重建模型。并建立了含预处理过程的红外夜视图像超分辨率重建框架,本文的主要研究内容如下:
(1)针对红外夜视图像对比度低、高频信息不足、视觉效果差的问题,首先对红外夜视图像对比度增强预处理,然后使用卷积神经网络建立端到端的超分辨率重建模型,对预处理图像进行重建,增加高频像素数目,提升红外夜视图像视觉效果。
(2)基于特征迁移的深度神经网络红外夜视图像超分辨率重建。
为提升全卷积神经网络的重建能力,有效加深网络,建立适合提升红外夜视图像重建质量模型,建立基于特征迁移的六层卷积神经网络。根据对影响模型改进的关键因子分析,本文将网络的结构层分为两部分,浅层网络通过特征迁移学习基于自然图像丰富纹理信息,后两层实现特征重构,强化红外夜视图像细节。将红外夜视图像进行对比度增强后作为低分辨率网络输入,输出的高分辨率红外夜视图像具有丰富的高频信息。
(3)融合残差学习的红外夜视图像超分辨率重建模型
基于残差学习的卷积神经网络的超分辨率重建方法 VDSR 仅学习高、低分辨率图像间的差值信息,相较于其他方法构重建速度遥遥领先,重建效果也相对更好。但是由于红外夜视图像本身具有较自然图像更模糊的边缘、更少的高频信息特征,尽管将 VDSR 迁移到红外夜视图像重建领域使,重建质量具有最优的客观评价,但是其视觉效果仍然平滑。为进一步提升 VDSR 的重建能力,增强红外夜视图像视觉效果,建立基于亚像素插值的残差学习模型。通过将高分辨率图像进行亚像素采集生成子图像集,使低分辨率图像分别学习每个子图像的特征,避免最后一层单一卷积核对生成图像的平滑作用。最后对子图像进行亚像素差值放大生成高分辨率图像。使用红外夜视图像对本方法进行测试,结果表明,本方法有效提升了红外夜视图像的边缘锐度,使其展现出更好的视觉效果。
(1)针对红外夜视图像对比度低、高频信息不足、视觉效果差的问题,首先对红外夜视图像对比度增强预处理,然后使用卷积神经网络建立端到端的超分辨率重建模型,对预处理图像进行重建,增加高频像素数目,提升红外夜视图像视觉效果。
(2)基于特征迁移的深度神经网络红外夜视图像超分辨率重建。
为提升全卷积神经网络的重建能力,有效加深网络,建立适合提升红外夜视图像重建质量模型,建立基于特征迁移的六层卷积神经网络。根据对影响模型改进的关键因子分析,本文将网络的结构层分为两部分,浅层网络通过特征迁移学习基于自然图像丰富纹理信息,后两层实现特征重构,强化红外夜视图像细节。将红外夜视图像进行对比度增强后作为低分辨率网络输入,输出的高分辨率红外夜视图像具有丰富的高频信息。
(3)融合残差学习的红外夜视图像超分辨率重建模型
基于残差学习的卷积神经网络的超分辨率重建方法 VDSR 仅学习高、低分辨率图像间的差值信息,相较于其他方法构重建速度遥遥领先,重建效果也相对更好。但是由于红外夜视图像本身具有较自然图像更模糊的边缘、更少的高频信息特征,尽管将 VDSR 迁移到红外夜视图像重建领域使,重建质量具有最优的客观评价,但是其视觉效果仍然平滑。为进一步提升 VDSR 的重建能力,增强红外夜视图像视觉效果,建立基于亚像素插值的残差学习模型。通过将高分辨率图像进行亚像素采集生成子图像集,使低分辨率图像分别学习每个子图像的特征,避免最后一层单一卷积核对生成图像的平滑作用。最后对子图像进行亚像素差值放大生成高分辨率图像。使用红外夜视图像对本方法进行测试,结果表明,本方法有效提升了红外夜视图像的边缘锐度,使其展现出更好的视觉效果。