基于块的图像匹配一直是计算机视觉领域的重要基础。寻找图像块间的精确匹配关系在许多图像任务中都起着至关重要的作用。而不同光谱下的异源图像,由于成像机制不同,图像上的灰度信息通常呈现出非线性的关系,导致基于传统图像描述符的图像匹配方法难以在不同光谱的图像上取得较好的效果。针对不同光谱的图像难以精确匹配的问题,本课题提出,利用神经网络强大的特征学习能力,通过深层卷积神经网络学习红外与可见光图像块的图像特征并实现红外-可见光图像块对的匹配。本文首先介绍了针对本课题自主拍摄、构建并完善的红外-可见光图像块数据集。完备的数据集对于深度学习任务来说,关乎最终训练得到模型的泛化能力和鲁棒性。本课题通过红外摄像头、可见光摄像头以及拍摄支架实现了红外和可见光匹配图像对的采集。之后使用MATLAB实现了图像对处理程序,包括对原始图像对的仿射变换、滑动窗口截取图像块、正负样本生成等程序代码。并将数据集划分为训练、验证、测试三个部分。本课题使用的所有红外-可见光图像数据均为自主采集的数据。之后本文将本课题提出的新型块匹配网络,残差双塔结构,与已有三种用于块匹配的卷积神经网络结构进行实验、对比。残差双塔结构是本课题提出的一种创新性结构,结合了传统残差网络结构和双塔结构的特点。对于四种网络结构的模型效果,本课题进行了对比。实验结果表明残差双塔结构能够取得更好的块匹配效果。此外,针对红外与可见光图像间存在的视差问题,本课题提出了在残差双塔网络单支路上加入空间变换网络(STN)结构的方法,为本课题的红外-可见光块匹配神经网络加入适应大视差的空间不变性。最后,本文构建含有人为空间变换特征的数据集,并对STN网络效果进行分析,发现加入STN的残差双塔网络对于空间变换特性的泛化能力要远远强于未加入STN的块匹配网络。