目标检测是计算机视觉领域中研究非常多的课题之一,其研究成果在军事、农业、医学、安防等诸多场景都具有重要的应用前景。近些年随着深度学习技术在计算机视觉任务上的深入研究,目标检测任务取得了十足的进步,检测精度不断提升。但是,目标检测任务在某些现实场景中的应用依然面临非常大的挑战。在诸如军事、安防等领域,传统的RGB单模态的图像具有非常大的局限性,严重制约了目标检测精度在这些场景中的提升。近年来,越来越多的研究者发现多模态数据的引入有助于得到高性能的检测器,基于多模态图像的目标检测研究也越来越热门。然而,目前的关于多模态任务的研究工作并没有对多模态数据本身的特点进行讨论。本文则围绕多模态数据中发现的两个问题展开讨论,即多模态数据中存在的图像对之间的失配准问题以及模态间的信息缺失问题。本文的主要工作分为以下几点:1)分析多模态数据中的失配准问题出现的原因,指出了该问题在多模态数据集中是普遍存在并且难以避免的,并设计实验验证了多模态数据中存在的失配准问题是影响多模态数据融合阶段的重要因素。2)分析多模态数据中模态间的信息缺失问题出现的原因,指出了该问题在多模态数据集中是普遍存在并且难以避免的,并讨论了该问题对于检测网络的影响。3)基于对以上两个问题的讨论,设计了本文的多模态目标检测网络的结构,并提出了一种分步的网络训练方法,取得了很好的检测结果。4)本文自主构建了一个RGB和红外的双模态数据集,该数据集中的图像对具有更高的分辨率,并且包含了更多种类场景下拍摄的图像对。