综合性工业和国防设备需无人系统在复杂境况下能实现全天候高精确度应用。近年来,视觉目标跟踪技术在机器人研发、自主汽车行业、人机界面设备和视频监控设备等方面获得了广泛的运用。凭据所输入的信息源,跟踪方法大体上分为可见光图像目标跟踪、红外图像目标跟踪和可见光与红外融合目标跟踪。目前应用最普遍的是可见光目标跟踪,但是可见光图像易受到复杂环境的影响,导致跟踪性能的下降。本文针对未知环境下挑战,以提高跟踪稳定性、精度和实时性为主要研究目标,从可见光和红外图像融合、物体跟踪识别等环节开展相应的研究。主要研究内容如下:（1）多模态特征提取方法的研究。RGB和红外数据包含同一场景的不同特征信息,它们的互补优势克服了单个源成像的局限性。如何有效的利用它们的互补优势成为了提高跟踪和检测精度中至关重要的问题,并且两者包涵的信息量不同,因此本文提出了多层次特征提取网络,用于提取不同模态的不同深度的特征信息。（2）针对红外特征与可见光的特点,提出了一种基于注意力机制的多模态特征信息互补机制。由于红外成像设备具有不受光照、烟雾和雾霾干扰等特点,生成的红外图像更加稳定。本文将浅层红外特征作为上下文信息强调对RGB特征的共享部分的关注,利用红外图像稳定的特性,同时利用了RGB图像特征信息更丰富的特点。通过上下文信息强调后的RGB特征与红外特征进行融合,利用了多模态共享特征,也利用了多模态特定特征,达到充分利用多模态互补优势。（3）针对跟踪机制导致的跟踪漂移问题,提出了一种基于可见光视频的重识别模块。受到全卷积孪生网络与相关性滤波算法的启发,本文设计了区域重识别模块。因复杂环境导致跟踪漂移时,该网络能重新预测目标中心,实现提高跟踪精度的目的。