视觉跟踪技术作为计算机视觉领域的关键技术,在智能监控、人机交互、医学诊断等领域起到十分重要的作用。然而,由于旋转姿态而引起物体本身外观的变化和光照、遮挡、模糊等外在因素的变化,进行鲁棒的跟踪仍然面临着很大的挑战。本文的硬件部分采用了3D摄像头Kinect,通过Kinect可以同时获得深度图像和彩色图像。根据Kinect获得的深度图像可以将前景附近区域与背景进行分割,从而减小背景对目标的干扰。在深度图像分割的基础上,本文提出了融合增量PCA模型、Online Adaboost模型和Hausdorff距离匹配模型的tri-tracking框架来进行鲁棒的跟踪。此跟踪框架使用了在线半监督学习机制来混合生成模型和判别模型。在跟踪过程中,我们只需要在第一帧中手动初始化,然后在其余的数据帧中利用更新模型来捕获目标外表和背景的变化实现自动跟踪。本文采取的tri-tracking方法主要作用：首先,通过利用深度图像和彩色图像的结合进行跟踪,增加了跟踪的鲁棒性。其次,提出了基于混合生成模型和判别模型的跟踪框架,可以获得表示目标和背景信息的外观模型,每个独立的模型互相弥补缺点。再次,通过引入三种模型进行跟踪,可以很好处理在co-training框架中跟踪结果相反的状况。最后,提出了基于区分能力的多模型融合的方法,可以自适应的进行跟踪。我们测试了很多有挑战性的视频,结果显示本文的算法在处理运动模糊、光照变化、背景复杂、尺度变化、遮挡等情况具有一定的鲁棒性。