目标跟踪是指在视频序列中自动跟踪感兴趣的区域并输出其在每一帧中的位置和状态。目前，目标跟踪的难点主要包括复杂背景下的目标提取、目标的自遮挡、相互遮挡、阴影的处理、多摄像机的数据融合、对目标跟踪的实时性要求等。尤其是遮挡和阴影，这些问题普遍存在于现实环境中，同时由于目标外观及光照的改变，导致在跟踪过程中发生跟踪漂移、丢失等现象，很大程度地影响目标跟踪算法的准确性和鲁棒性。彩色图像包含丰富的颜色、梯度、纹理和空间等信息，有利于图像处理，但彩色图像往往受限于光照变化、遮挡及复杂背景等，在跟踪领域中难以得到优秀的鲁棒性。深度图像是指将场景中各点相对于图像采集设备的距离作为像素值的图像，不受光源照射方向、物体表面发射特性和阴影的影响，恰恰解决了基于彩色图像的目标跟踪常受光照、阴影和复杂背景影响的问题。　　本研究针对于深度图像不受光照、阴影影响的特点，提出了一个基于粒子滤波框架的多候选种子融合的头部跟踪算法。在仅依赖深度信息的前提下，预处理图像以丰富细节信息，利用深度信息估计人的移动范围，逐帧融合并更新目标模板，分别以二阶头部搜索策略和粒子滤波为运动模型，结合提早中断模板更新策略，对于在深度图像中被跟踪的头部由于形变、突然运动、自遮挡等因素发生了显著的外观变化的情况，实现跟踪的准确性和鲁棒性。结合彩色图像和深度图像的优点，在核相关滤波器(KernelizedCorrelation Filters，KCF)框架下提出了一个基于RGB-D的尺度自适应跟踪算法。融合RGB图像的方向梯度直方图、颜色属性特征和深度图像的方向梯度直方图特征以提高分类器的性能，利用深度信息进行K-means快速图像分割来控制分类器的尺寸，并进行跟踪丢失自适应融合判决，解决KCF跟踪算法对复杂背景、尺度变化、快速运动和遮挡等视频跟踪丢失和漂移的问题。