论文部分内容阅读
随着遥感技术的普及,如今在灾害预警,军事侦测等众多领域都需求具有高空间分辨率的多光谱图像,然而单一传感器获得的遥感图像在光谱信息和空间信息上都具有局限性,将多光谱图像和全色图像融合以获得高空间分辨的多光谱图像就成为近年来研究的一个热点。
近年来随着人工智能技术的发展,各类深度学习模型在图像处理领域表现突出。由于强大的高质量图像生成能力,生成对抗网络在图像融合和图像超分辨率等计算机视觉的研究中得到了广泛关注。本文主要研究利用生成对抗网络进行多光谱图像和全色图像的融合,在增加遥感图像中特有的领域知识后提高融合图像空间分辨率和光谱质量。文主要研究内容如下:
(1)研究适用于遥感图像特征级融合的生成对抗网络框架。该多流融合框架是一个端对端的网络框架,首先将初始的多光谱图像和全色图像根据特定的规则提取特征图,生成器利用子网络分别提炼输入的多源图像,然后在特征域上叠加特征后通过生成器的主网络进行融合。根据遥感领域中多光谱图像和全色图像在波段上的特性,在判别器中引入MTF系数同时判别融合图像的光谱信息和空间结构信息。实验表明多流融合生成对抗网络框架能有效提升融合图像的质量。
(2)研究结合变分模型的多流生成对抗网络遥感图像融合算法。首先根据变分模型的先验假设,利用梯度算子抽取全色图空间结构信息,然后将提取到的空间结构信息替换生成器中输入的全色图像,以减少融合过程中全色图像对光谱信息的影响。在合理的卷积层引入初始的多光谱图像作为光谱信息的补偿,参考变分模型能量函数的设计改进生成器和判别器的目标函数。最后使用最小二乘生成对抗网络来训练模型以减少光谱信息和空间结构信息的损失,在网络的训练过程中相较于原始对抗网络具有更高的稳定性。通过仿真实验和真实数据实验证明了该方法可以生成高质量的融合图像,并且在客观指标和直观观察方面均优于大多对照的方法。
近年来随着人工智能技术的发展,各类深度学习模型在图像处理领域表现突出。由于强大的高质量图像生成能力,生成对抗网络在图像融合和图像超分辨率等计算机视觉的研究中得到了广泛关注。本文主要研究利用生成对抗网络进行多光谱图像和全色图像的融合,在增加遥感图像中特有的领域知识后提高融合图像空间分辨率和光谱质量。文主要研究内容如下:
(1)研究适用于遥感图像特征级融合的生成对抗网络框架。该多流融合框架是一个端对端的网络框架,首先将初始的多光谱图像和全色图像根据特定的规则提取特征图,生成器利用子网络分别提炼输入的多源图像,然后在特征域上叠加特征后通过生成器的主网络进行融合。根据遥感领域中多光谱图像和全色图像在波段上的特性,在判别器中引入MTF系数同时判别融合图像的光谱信息和空间结构信息。实验表明多流融合生成对抗网络框架能有效提升融合图像的质量。
(2)研究结合变分模型的多流生成对抗网络遥感图像融合算法。首先根据变分模型的先验假设,利用梯度算子抽取全色图空间结构信息,然后将提取到的空间结构信息替换生成器中输入的全色图像,以减少融合过程中全色图像对光谱信息的影响。在合理的卷积层引入初始的多光谱图像作为光谱信息的补偿,参考变分模型能量函数的设计改进生成器和判别器的目标函数。最后使用最小二乘生成对抗网络来训练模型以减少光谱信息和空间结构信息的损失,在网络的训练过程中相较于原始对抗网络具有更高的稳定性。通过仿真实验和真实数据实验证明了该方法可以生成高质量的融合图像,并且在客观指标和直观观察方面均优于大多对照的方法。