论文部分内容阅读
异源图像匹配及融合是多源信息处理中的基础问题,也是目前研究领域关注的热点,具有重要的研究价值。激光雷达(light detection and ranging,LiDAR)图像可以记录场景的距离信息和反射强度信息,可见光图像可以记录场景的颜色信息和光谱信息,因此,可见光和激光雷达图像的匹配及融合技术被广泛应用于各类军事及民用任务,例如精确制导、场景分类、目标识别等。由于异源图像存在灰度分布、纹理风格的差异,几何形变及噪声的干扰,可见光和激光雷达图像的匹配及融合是富有挑战性的任务。本文为此展开了一系列深入研究:首先研究激光雷达图像降噪以提升图像质量,从而提高异源图像匹配性能;其次研究可见光和激光雷达图像匹配将异源图像在空间上对齐;最后研究可见光和激光雷达图像融合将异源图像的互补信息综合。具体研究内容及创新点如下:
在激光雷达图像预处理技术研究中,提出了一种基于自适应非局部均值(non-local means,NLM)和小波阈值收缩的强度图像降噪方法。该方法首先利用同态变换将乘性噪声转换为加性噪声,用小波变换将图像分解为低频系数和高频系数,然后用自适应NLM滤波进行低频系数降噪,用阈值收缩进行高频系数降噪。实验表明该方法能够有效抑制激光雷达强度图像中的散斑噪声,同时保护好图像的细节信息。
利用异源图像局部结构特征相似的特性,提出了一种新的局部特征描述子——方向结构直方图(histogram of oriented structure maps,HOSM)。该方法首先提取图像的多方向结构图,然后利用导向滤波对结构图进行一致性增强,提升异源图像的结构相似性。实验表明,HOSM特征对可见光和激光雷达强度图像之间的灰度分布非线性变化具有鲁棒性,可以得到良好的匹配性能。
结合光谱成像原理和异源图像灰度映射理论,提出了一种基于正则化生成对抗网络的图像匹配方法。该方法首先设计了一个新的生成对抗网络用于图像变换,然后用局部特征建立异源图像之间的匹配关系。实验表明,图像变换能够有效地消除可见光和激光雷达强度图像之间的灰度分布差异,从而提高图像特征匹配性能。
受生物视觉系统具有方向性、局部性和带通性的特点启发,提出了一种基于全变差模型和显著性分析的可见光和激光雷达强度图像的像素级图像融合方法。该方法将图像分解为基础层和细节层,基础层融合采用全变差模型,细节层融合采用加权平均,为此,我们提出一种基于显著性分析的权重图构建方法。实验结果表明该方法能够保持异源图像中的互补信息,融合图像更有利于视觉感知和机器分析。
为了综合场景中可见光图像的光谱信息和激光雷达距离图像的空间信息,提出了一种基于全变差模型和极值形态剖面(extrema morphological profiles,EMP)的可见光和激光雷达距离图像的特征级图像融合方法。首先,我们提出一种新的极值形态剖面,用以提取可见光和激光雷达距离图像上的结构特征。然后,用全变差模型将可见光和激光雷达距离图像的极值形态剖面中对应的特征图分别进行融合,得到融合极值形态剖面。实验表明,极值形态剖面可以有效表示可见光的和激光雷达距离图像的互补特征,全变差模型可以有效融合这些互补信息,进而提升场景分类精度。
在激光雷达图像预处理技术研究中,提出了一种基于自适应非局部均值(non-local means,NLM)和小波阈值收缩的强度图像降噪方法。该方法首先利用同态变换将乘性噪声转换为加性噪声,用小波变换将图像分解为低频系数和高频系数,然后用自适应NLM滤波进行低频系数降噪,用阈值收缩进行高频系数降噪。实验表明该方法能够有效抑制激光雷达强度图像中的散斑噪声,同时保护好图像的细节信息。
利用异源图像局部结构特征相似的特性,提出了一种新的局部特征描述子——方向结构直方图(histogram of oriented structure maps,HOSM)。该方法首先提取图像的多方向结构图,然后利用导向滤波对结构图进行一致性增强,提升异源图像的结构相似性。实验表明,HOSM特征对可见光和激光雷达强度图像之间的灰度分布非线性变化具有鲁棒性,可以得到良好的匹配性能。
结合光谱成像原理和异源图像灰度映射理论,提出了一种基于正则化生成对抗网络的图像匹配方法。该方法首先设计了一个新的生成对抗网络用于图像变换,然后用局部特征建立异源图像之间的匹配关系。实验表明,图像变换能够有效地消除可见光和激光雷达强度图像之间的灰度分布差异,从而提高图像特征匹配性能。
受生物视觉系统具有方向性、局部性和带通性的特点启发,提出了一种基于全变差模型和显著性分析的可见光和激光雷达强度图像的像素级图像融合方法。该方法将图像分解为基础层和细节层,基础层融合采用全变差模型,细节层融合采用加权平均,为此,我们提出一种基于显著性分析的权重图构建方法。实验结果表明该方法能够保持异源图像中的互补信息,融合图像更有利于视觉感知和机器分析。
为了综合场景中可见光图像的光谱信息和激光雷达距离图像的空间信息,提出了一种基于全变差模型和极值形态剖面(extrema morphological profiles,EMP)的可见光和激光雷达距离图像的特征级图像融合方法。首先,我们提出一种新的极值形态剖面,用以提取可见光和激光雷达距离图像上的结构特征。然后,用全变差模型将可见光和激光雷达距离图像的极值形态剖面中对应的特征图分别进行融合,得到融合极值形态剖面。实验表明,极值形态剖面可以有效表示可见光的和激光雷达距离图像的互补特征,全变差模型可以有效融合这些互补信息,进而提升场景分类精度。