随着人类生活的智能化发展,各种体感交互技术不断涌现。其中通过自然手势进行体感交互的过程,符合人类日常交流习惯,在智能家电、虚拟现实等领域具有广阔的应用前景。但是,目前大部分手势识别技术由于种种原因难以推广应用。例如算法复杂造成系统实时性差,或者对系统所处背景环境,用户衣着、坐姿等有限制。本论文针对上述问题,提出了一种新的实时手势识别技术,可以适用于不同的复杂场景,其不受限于背景中出现类肤色物体,或画面中出现用户手臂、面部,用户不需要佩戴手套之类的辅助道具。首先,通过建立一个新的HLS-CbCr混合颜色空间进行肤色检测,采用混合高斯背景建模算法进行前景检测,通过引入时空信息的概念来设置模型的学习率从而提高算法速率；对于人脸等干扰问题,提出了一种预检测算法；并通过验证补充机制融合多种检测结果从而分割出用户手势。其次,在特征选择方面,利用了手势图像的组合特征,选择计算量小且有效性高的特征,包括Hu矩特征、缺陷特征和比例特征。最后,利用支持向量机进行手势识别,通过建立有效缺陷点筛选器定位手势指尖位置,提高算法速率,通过结合SVM和指尖检测识别结果进一步提高手势识别率。经过实验,本文算法在不同的复杂场景下表现出稳定的效果,手势识别率可达97.02%。文章最后设计并实现了一套基于手势控制的虚拟交互系统,该系统可以推广到智能电视、空调、手机等多种电子产品中,具有较高的应用价值。