基于视觉的手势识别技术以直观人手作为输入，提供给用户更加自然的人机交互方式，是人机交互领域的热点研究课题。随着计算机技术在各个领域的不断深入以及计算机性能的不断提高，手势识别技术在机器人控制、聋哑人生活辅助、家电控制等方面已经得到广泛应用。
　　本文介绍了一种基于视觉的手势识别系统。该系统主要由输入模块、视觉分析模块和输出模块三部分构成。视觉分析模块在整个基于视觉的手势识别系统中处于核心地位，又分为基于辅助检测的人脸跟踪、手势激活、人手跟踪、手势识别四个环节。
　　本文首先介绍了基于视觉的手势识别系统框架，重点介绍了视觉分析模块。接下来，本文针对视觉分析模块中的人手跟踪和手势识别环节详细介绍。对于人手跟踪环节，本文提出了一种融合肤色特征和运动特征的Mean Shift跟踪算法。基于贝叶斯理论的迭代肤色建模方法，能够在剧烈的光照变化和复杂的背景中，很好地区分肤色和绝大多数背景，并且可以满足系统实时性的要求；基于边缘图像的帧间差分法计算简单，能够很好地消除环境光照变化给运动检测带来的影响。融合肤色特征和运动特征的Mean Shift跟踪算法，能够在复杂背景下对人手实现准确稳定实时的跟踪。对于手势识别环节，本文首先提出了手势识别的对象：多姿态、多尺度、多背景的拳头和巴掌。接下来，本文介绍了基于HOG&SVM和基于Haar&Adaboost的手势检测方法，并针对拳头和巴掌进行实验。针对实验结果以及手势识别对象的具体特点，本文提出了一种基于多分类器检测的手势识别算法。该算法能识别多种姿态、多种环境背景、距离摄像头不同远近下的拳头和巴掌，具备准确性和稳定性。