视频目标跟踪技术是计算机视觉领域的一个重要研究方向,被广泛应用于智能交通，智能家居，安防监控等重要领域。随机森林作为模式识别领域近年来发展较快的一种方法，由于其速度快，高精确性，并行化等优点，已广泛应用于文字识别，图像分类等领域，但是以随机森林分类器为跟踪方法的还不多见。本文首先仔细介绍了随机森林的理论基础，从单棵决策树的形成到随机森林的构建，分析了随机森林具有高精确性，不会过拟合的数学基础。接着介绍了两种随机森林的改进，一种是将离线随机森林在线化，使之适用于在线的视频跟踪；一种是将霍夫变换理论引入随机森林方法，使之更适用于视频跟踪。然后提出了基于在线随机森林的整体跟踪框架和基于霍夫森林的局部跟踪框架。在整体跟踪框架中，首先提出了一种带权重的在线随机森林，将随机森林算法与AdaBoost算法结合起来，接着以整个运动对象作为跟踪目标，进行学习跟踪，并将协同训练的思想融入其中，提高跟踪的准确度；在局部跟踪框架中，是将整体目标进行分块，并充分考虑了小块目标的位置信息，通过小块的位置来确定整体目标的位置。实验证明，这两种方法在某些视频序列中能很好的实现目标的准确跟踪，但是还有一定的缺陷。本文最后分析了整体和局部跟踪各自的优势和缺点，提出了一种整体和局部相结合的跟踪框架。这套跟踪框架以随机森林为基础，结合了整体跟踪和局部跟踪的优势。实验表明，对于一些在独立跟踪中失败的视频序列，这种方法也可以取得良好的跟踪效果。