对于复杂环境下多源图像的目标跟踪是现阶段的研究热点之一，图像传感器在采集图像时，光照的变化、目标本身的形变以及背景的影响造成的隐身、遮挡等会导致不能对目标进行持续、稳定、准确的跟踪。可见光图像具有良好的细节表现力，对颜色等信息敏感，能够很好地对目标的形状、纹理等信息进行表达，但是当目标隐身或被遮挡时，会丢失目标信息；红外图像由于是对于热辐射的表达，具有较强的穿透能力，可以清晰地表达目标主体，但是会丢失细节信息，因此需要将可见光图像与红外图像进行融合，发挥各自的优势。利用实验室跟踪模拟测量系统来模拟目标在复杂环境下的运动，拍摄可见光与红外的图像序列，研究在复杂环境下的可见光与红外图像序列的融合跟踪算法。首先对所采集到的图像进行预处理，对比分析图像平滑、分割以及形态学滤波的算法，得出对于该系统采集到的图像，采用中值滤波，OTSU自适应阈值分割算法以及开运算相结合的方法可以有效地将目标与背景分离开来，随后利用背景差分法对目标进行检测定位。分析基于稀疏表达的目标跟踪算法，本文采用一种基于稀疏测量矩和贝叶斯二分类器的跟踪算法。利用稀疏测量矩阵对提取到的图像特征进行降维，保留目标的基本信息，去除冗余，不仅可以保证结果的准确性，还大大减少了算法的复杂度，提高运算速度。通过贝叶斯二分类器的判断，确定出与目标实际位置最相近的样本作为跟踪结果，并进行分类器的更新。该算法虽然对一些具有较多信息量的大目标在复杂的背景下较其他算法有很大优势，但对于OTCBVS数据库中的监控录像跟踪结果并不理想，因此需要采用可见光与红外相结合的融合跟踪算法。融合跟踪的算法大致可以分为三个等级，即像素级、特征级和决策级，在基于稀疏测量矩阵和贝叶斯分类器的跟踪算法基础上，本文提出了一种自适应的决策级融合算法，可以通过对两种图像各自的跟踪结果进行决策判断，选取最优解，对分类器分别进行跟踪，该算法解决了单传感器跟踪失效的问题。在实验室跟踪模拟测量系统的基础上，编写软件仿真平台，对文中所述方法进行实现，可以演示图像的预处理，目标检测，单传感器和多传感器融合的跟踪等，为后续的研究奠定基础。