随着计算机技术的发展，人机交互系统越来越多地考虑用户的体验感、方便性，逐步在向以用户为中心发展。手势由于其直观、简单的特点，基于手势的人机交互系统有着广阔的应用前景。本文介绍了基于视觉的手势识别跟踪的发展过程及主要技术难点。针对基于视觉的长时间实时手势跟踪中手势容易发生形变、手势在跟踪窗口的暂时性消失、复杂背景跟踪等几个技术难点展开具体研究。　　在手势的识别部分，介绍了几种常用的特征描述子及分类效率较高的分类器，例如AdaBoost、RandomForest等。由于手势较易发生形变及系统对实时性的要求，本文设计了基于几种矩阵Haar特征的AdaBoost级联分类器能够快速实现手势的识别过程，并对实验结果进行了分析。　　为解决在长时间跟踪中手势暂时性消失引起的跟踪失败等问题，本文提出了跟踪-学习-检测的跟踪框架。跟踪器和检测器同时独立进行，通过跟踪得到的目标手势用来进行检测器的训练，对手势的形变问题能有效解决；检测器与跟踪器的同步运行能够及时纠正跟踪器，保证跟踪的稳定性；另一方面通过学习过程对检测器进行错误估计，防止再次出现类似检测错误。鉴于人机交互系统对实时性的要求，采用金字塔LK跟踪算法，利用Random Forest、NCC、均方差过滤多层检测器提高了系统的实时性及稳定性。　　最后在Microsoft Visual2008环境下实现了手势模拟鼠标的人机交互系统，采用较简单的两种手势实现鼠标的简单操作，最终通过实验验证了本文手势识别跟踪算法的实时性及稳定性。