随着计算机技术的飞速发展，人机交互技术的发展更是突飞猛进，人们已经不再满足于传统的接触式交互方式，而渴望更加自然的、非接触式人机交互方式。在自然人机交互中，主要研究内容有手势识别、语音识别和人脸识别等技术。其中手势作为人最自然、最主要的交互部分，在这些技术中更加吸引人们的关注。　　基于视觉的手势识别技术成为了现在手势识别领域里的研究热点，但是传统的基于视觉的手势识别技术通常都是基于肤色模型进行分割，容易受到光照、环境、类肤色和复杂背景的干扰，影响手势识别的效果，Kinect 等深度相机的推出为这些问题带来了新的解决方法。　　本文通过了解近年来国内外手势识别的研究现状，结合当前出现的问题，提出一种基于深度图像阈值分割的手势识别方法，并设计完成与三指灵巧手进行猜拳游戏的人机交互设计。　　该方法首先通过Kinect深度摄像头获取深度图像，再利用开源库 OpenNI和NiTE获得手部的粗略位置，根据手部位置的距离值对手势进行深度阈值分割，同时跟踪手部，并且与肤色模型进行对比。然后利用OpenCV相关函数对分割后的图像进行形态学预处理来获得精确的手势分割图像。接着用Canny算子对分割后图像进行边缘检测，并提取手的外部轮廓，计算手势外轮廓的重心矩，通过改进传统的重心距离法获得指尖点坐标，根据指尖点坐标来进行手势识别分类。并且用这个改进的手势识别分类方法，对常见的8个手势进行测试，并在各种不同条件下验证该算法的鲁棒性，同时也在肤色空间内对改进的方法进行测试和验证，接着着重对三个交互手势“石头”、“剪刀”和“布”，进行再次验证。最后完成人机交互的猜拳游戏，即石头剪刀布的游戏，对三指灵巧手进行编程，使其按出拳策略完成人机交互，最后验证结果。　　该方法能够有效地弥补肤色分割容易受到环境、光照、类肤色等复杂背景干扰的问题，不需要采集大量的模板，也不需要进行复杂的模型训练，灵活度较高，并且所用到的特征简单高效，识别速度快，识别率高，整个系统的实时性好，有较高的鲁棒性和灵活性。