手势交互是人机交互中十分重要的研究课题，近年来在虚拟现实、机器人控制以及交互式游戏等领域得到了广泛的关注与应用。作为一种自然友好的交互方式，基于视觉的手势交互是手势交互的一个重要分支，也是手势交互目前的研究热点和未来的发展趋势。本文利用RGB-Depth摄像机，对基于视觉手势交互的关键技术做了一系列研究，主要工作及取得的成果包括以下几点：(1)利用RGB-Depth相机，提出一种基于肤色和深度信息的手势检测方法。传统的手势检测通常使用肤色分割或基于外形的方法，在背景较复杂时难以将手部区域较好地分割出来。针对此问题，该方法首先对RGB相机和Depth相机进行标定，并将深度图投影到RGB坐标系下得到投影图，然后利用投影图将深度分割方法和一种改进的肤色分割方法相结合进行手势检测。实验证明了该方法的鲁棒性，特别是在手和脸发生自遮挡或者背景中有其他人干扰而遮挡时，该方法仍然能较好地分割出手势图像。(2)利用RGB-Depth相机，提出一种结合深度图的手势识别方法。该方法从分类器融合的角度出发，利用深度图和AdaBoost算法训练手势分类器，然后对分割出来的手势提取Haar-like特征并识别特定手势。实验结果表明，这种结合深度图的方法速度快，既能较好地满足系统实时性要求，也能一定程度上提高手势的识别率，是一种综合性能较好的手势识别方法。(3)构建了一个基于RGB-Depth相机的手势交互系统，该系统利用RGB-Depth相机捕获彩色图和深度图，然后利用本文提出的手势检测和识别方法对美国手语字母表中的手势字母进行识别，最后从处理速度和适用范围等方面对系统性能进行了评估，证明了该系统的有效性。