论文部分内容阅读
图像特征描述符是对图像特征点邻域的特征描述。不同光谱的图像在灰度值、颜色等指标上存在较大差异,实验表明传统基于人工特征的多光谱描述符难以刻画多光谱图像灰度值之间复杂的非线性关系。构建多光谱图像描述符的本质是寻找一种特征空间,使得包含相同场景的多光谱图像在该特征空间上距离相近,而包含不同场景的多光谱图像在该特征空间上距离较远。针对多光谱图像之间的非线性关系,本文结合深度学习方法,研究多光谱图像特征描述符深度学习神经网络的构建与训练,使多光谱图像描述符包含图像的结构特征和语义特征,极大提高了多光谱图像块匹配的准确率。本文主要工作如下:(1)制作了多光谱图像深度学习数据集。深度学习属于统计学习,数据集是深度学习的基础。本文设计并制作了多光谱视频采集系统,通过该系统可以快速批量采集多光谱图像匹配对。本文将该系统搭载在汽车和无人机上,采集了大量不同场景下的多光谱图像。同时本文制定并完善了一套图像处理流程,使得拍摄的多光谱图像可以方便快捷的转换为深度学习训练可用的数据集。目前本文多光谱图像数据集已包含多光谱图像匹配对82, 230对。(2)设计了深度学习多光谱图像描述符的网络框架。本文设计了包含样本重构模块、特征学习网络模块和测度学习网络模块的多光谱图像描述符深度学习网络框架。样本重构模块利用重构算法对样本集进行重构,使得网络输入满足样本均衡条件;特征学习网络利用卷积神经网络提取多光谱图像的抽象特征并生成描述符;测度学习网络模块利用全连接网络计算描述符之间的距离。实验表明利用该框架结构生成的描述符具有良好的不变性和可区分性。(3)提出了基于Triplet Loss的深度学习描述符构建网络。在多光谱图像描述符框架结构的基础上,对每个模块都进行了大幅度改进,并在初步训练完成后利用Triplet Loss提高描述符的可区分性。通过引入难样本、全局特征、网络级联等算法,大幅度提升了深度学习描述符的性能。实验结果表明,本文生成深度学习描述符保留了图像的抽象特征和结构信息,通过本文深度学习描述符进行特征点匹配的准确率比SIFT描述符提高42%,比EOH描述符提高了 17.9%。