论文部分内容阅读
随着成像传感器技术的迅猛发展,多频段图像采集任务获得高新技术助力,使得单一传感器成像弊端日益突出,己难以满足日常应用需求,多传感器成像系统迎来了全新技术应用时代。多传感器成像技术通过综合利用多类型图像中的互补信息,剔除其中冗余信息,使得融合图像具有更为丰富的场景内容。其中红外光与可见光作为图像处理领域最广泛应用的图像,因其固有的成像机理及天然互补性,其图像配准及融合任务能够对场景目标进行清晰准确的描述。为进而提升图像融合性能,本文针对红外与可见光图像融合进行算法研究,结合卷积神经网络在计算机视觉领域的显著优势,设计出高性能的图像配准及融合算法框架,同时针对图像融合任务实时性需求,对图像融合网络实行模型压缩,从而减少融合网络模型尺寸和计算量。本文在此技术需求和背景条件下进行以下图像算法研究。首先,本文对红外与可见光图像配准任务进行细致探究,针对多源图像间变换的多样性,选取透视变换作为实验图像变换模型。考虑到基于互信息及图像特征等传统配准算法对于多源图像配准任务的健壮性及鲁棒性不足的现状,本文提出全新图像配准融合网络框架CADH。其充分利用卷积神经网络中独特的图像特征提取优势,提取红外与可见光图像中高效共有特征等语义信息,采用监督学习算法进行图像变换矩阵训练学习来拟合图像数据集的真实标签,使得网络模型能够学习红外与可见光图像间鲁棒的配准特征,进而提升图像配准模型鲁棒性。通过大量对比实验分析证实本文CADH配准网络具有高效的多源图像配准性能。其次,红外与可见光图像融合作为图像处理以及计算机视觉领域一项重要的现代图像增强技术,旨在将红外图像信息和可见光图像信息有效地结合起来,生成信息量丰富和表达力更强的场景融合图像。本文针对基于多分辨率等传统图像融合算法中人为制定特征融合规则以及特征提取不充分等难点,设计出基于卷积神经网络的新型图像融合框架RDNFuse,通过整合ResNet和DenseNet等网络结构优势,利用非监督算法解决人为制定融合规则问题,提升图像多尺度特征的精细提取和网络框架中的特征复用和流动,进而改善融合图像的最终成像显示性能。结合图像融合算法创新,该研究成果已完成SCI论文撰写并投稿。然后,深度学习技术中卷积神经网络在近期取得了飞速发展,然而对于移动平台或算力有限的硬件平台等特定应用场景仍然存在应用限制。为此本文针对图像融合任务实时性需求设计制定系列模型压缩实验,不仅设计出全新主干网络结构减少网络参数,同时实行网络模型剪枝、量化以及哈夫曼编码等模型压缩策略,在降低融合网络模型尺寸的同时,稳定维持网络模型已有的融合性能。最后,本文通过大量主客观对比实验,证实本文提出的图像配准网络框架能够高效提取健壮鲁棒的图像共有特征,相比于其他传统配准算法具有较大的性能提升。针对图像融合任务,本文设计的图像融合框架通过加强网络图像特征复用的方式提升网络融合性能,通过与主流图像融合算法进行实验对比均表现出较佳的融合性能。最后通过制定系列模型压缩策略,在保证网络模型融合性能的基础上,大幅降低网络模型尺寸和计算量,进而提升网络运行效率,同时设计出红外与可见光彩色图像融合框架及不同分辨率图像融合框架,进一步拓展融合应用场景。