目标跟踪是计算机视觉研究领域的重要课题，应用范围广阔。传统的视频跟踪往往不能很好地处理目标遮挡、光照变化等复杂问题。引入Kinect摄像机同时获得的视频和深度信息，即RGB-D序列，可以有效缓解这些问题，但是RGB-D序列的覆盖范围有限，并且当目标离摄像机的距离较远时，深度数据的精度大幅下降，因此需要融合更多的信息来改善目标跟踪效果。最近Android智能手机逐渐普及，而智能手机中的惯性传感器可实现大范围的目标定位，弥补RGB-D序列覆盖范围有限的不足，解决视频跟踪所面临的问题。然而，为了获得理想的跟踪效果，如何融合多源数据信息是一个具有挑战性的问题。本文通过融合多传感器信息，包括视频、RGB-D序列和惯性传感器数据，提出了一个多源数据融合的目标跟踪方法，实现了长时间稳定的目标跟踪。具体的研究工作如下：1.提出了一种惯性传感器与RGB-D序列的融合定位方法。首先利用惯性传感器的加速度传感器和陀螺仪传感器实现惯性传感器定位，然后在局部区域内，通过Kinect摄像机获取的RGB-D序列，融合纹理和深度，采用粒子滤波跟踪框架实现局部目标定位，最后利用局部目标定位通过TPS变形模型消除惯性传感器定位的累积误差，使惯性传感器定位能在长时间实现稳定定位。2.提出了一种视频数据与惯性传感器的融合跟踪方法。首先构造目标所在区域的稀疏观测，使用压缩跟踪算法对视频数据进行视频跟踪，然后通过坐标投影变换过程，将惯性传感器定位结果映射到视频图像平面上，最后通过本文定义的相似性度量将视频跟踪位置和被映射的位置融合起来，从而实现带跟踪错误检测及纠正的长时间稳定目标跟踪。为了验证本文方法的有效性，本文设计了惯性传感器数据采集系统和多源数据同步采集系统，对实验所需的数据进行了采集、处理。实际场景的实验表明，该方法优于只使用单个传感器数据的跟踪方法，并且表现出处理目标遮挡、光照变化，以及纹理、背景相似等问题时的鲁棒性。