新颖人机交互技术日益成为当前的研究热点问题之一，手势识别技术因为其自然性和实用性在计算机视觉和人工智能等领域成为一个极具发展前景的课题。传统的手势识别技术大多是基于灰度图像和彩色图像的，而本文结合深度信息和彩色信息对实时手势识别技术进行了研究。　　 本文首先对静态手势进行了识别。分别利用深度信息，以及深度信息结合彩色信息对实时视频进行分割获得手部的图像，并提取一系列的手型轮廓几何特征。进一步利用采集的样本训练SVM分类器，并通过获得的分类器实时对定义的“五指张开”，“握拳”等五种静态手势进行识别。　　 在静态手势识别的基础之上，本文选择其中两个静态手势作为动态手势开始和结束的标志对手部运动进行实时跟踪。在获取完整的轨迹图像之后，提取其Hu不变矩和几何信息作为图像识别的依据。并分别利用距离匹配和SVM分类器的方法实时的对10个阿拉伯数字和10个操作性手势轨迹图像进行识别。　　 实验结果表明本文利用深度信息结合彩色信息的方法对手势进行识别，能够较好的处理光照变化、背景复杂、计算困难等传统手势识别技术难以克服的问题。通过样本测试，对静态手势和动态手势的识别率平均在90％之上，并且对光照明暗、颜色变化等因素不敏感。因此，本文的方法具有环境无关性，准确性和实时性。