随着计算机技术的迅速发展，以及广泛普及，人类与计算机的交流方式成为了一个新的研究领域。在人机交互领域的研究中，人们追求最自然的交互方式。目前应用在市场上最普及的新交互技术是多点触控技术，它用手指作为控制器的模式取代了传统的鼠标和键盘操作模式。虽然这种交互方式简单易懂，但是与“最自然的交互方式”仍有一段距离。为了模拟人类的语言交流与肢体交流，语音识别技术和图像识别技术蓬勃发展。对于图像识别技术，现今的图像识别都是基于二维的图像进行识别的，二维平面图像缺少深度即距离信息，使得识别准确度降低，而且识别结果很难克服环境与光线的影响。自从深度摄像头的kinect推出使得摄像头不仅仅可以接收平面图像信息，还让所有平面图像像素都具有深度信息，这样摄像头所获得的数据也从二维数据变为三维数据。本文要使用kinect摄像头与unity中建立的虚拟现实场景物体进行交互。交互方法主要分解成三部分，即：使用深度摄像头进行图像采集，并且通过人体区域检测和背景分割，人体骨架提取，骨骼关节的定位与骨架重绘，骨骼关节修正后得到稳定的骨架信息。并且用四元数记录运动信息，用实时跟踪，运动滤波得到稳定的运动帧数据。最后通过改进的球面蒙皮对制作的三维角色模型进行自动蒙皮，并且计算权重，最后在unity中与骨骼数据项匹配，实现角色控制三维人物的运动。实验结果证明本文采用的方法，可以克服环境光等外界因素对摄像头采集数据的影响，并且具有良好的识别效果。得到稳定的骨骼数据，控制虚拟现实中角色运动，实现自然交互。本文采用的方法对深度摄像头识别技术的普及，以及kinect人体识别技术的虚拟现实交互方法的应用具有一定的意义。