结合可见光图像和红外图像的多模态目标跟踪能够极大地扩展目标跟踪的适用场景,突破单数据源对环境和目标信息量的限制,因此该任务在近年来逐渐获得关注。同时,在公开且统一的数据集和评价方法的基础上,深度学习在多模态数据利用上的潜力被逐渐发掘。在相关工作的推动下,多模态目标跟踪算法不断取得精度突破,但仍然存在严峻的挑战,特别是对多模态图像中不稳定信息的联合感知。本文针对多模态图像中信息的综合感知和联合建模展开研究,构建基于孪生神经网络的多模态目标跟踪器,并对其中的特征聚合进行深入研究。本文以注意力机制为工具,探索注意力引导的多模态深度特征的提取、交互、增强、融合方法,分别提出了基于跨模态注意力查询的交互与增强方法、基于多级残差注意力和特征选择的提取与融合方法,以提高多源数据的综合利用率。本文的主要研究内容如下:（1）针对多模态数据构建基于孪生神经网络的多模态目标跟踪模型。首先,研究基于孪生网络的目标跟踪理论,然后结合多模态数据搭建跟踪框架,其次利用实验说明了大规模跨数据的预训练在多模态跟踪框架下的有效性。（2）设计了一种跨模态注意力查询模型,并结合基于特征解耦的三元网络和余弦嵌入损失,实现模态特征的自增强和互增强。通过注意力机制使模态特征间相互查询、感知互补信息,并进行相应的特征增强。实验表明特征的差异化学习、模态的交叉感知与增强的有效性,提高了跟踪精确率、成功率以及速度;模型在RGBT234数据集上精确率和成功率分别达到73.4%和52.0%,在Las He R数据集上精确率和成功率分别达到43.7%和32.1%,以及75 FPS的跟踪速度。（3）针对跨模态特征提取和融合过程,设计了基于加权残差注意力的多级交互结构和基于特征选择的自适应特征融合模型。通过深度网络的多级交互实现不同层次的跨模态信息感知和流动。利用注意力机制实现自适应特征筛选,并用于融合同模态的分离特征和跨模态的差异化特征。实验表明上述模型促进了多模态特征的表达与融合,在保持跟踪速度的前提下,进一步提升了多模态目标跟踪的效果。模型在RGBT234数据集上精确率和成功率分别达到76.8%和52.5%,在Las He R数据集上精确率和成功率分别达到47.4%和34.7%,以及65 FPS的跟踪速度。