基于数字接口设备的人机交互系统通过与软件系统的配合来代替键盘和鼠标，并提供了一种简单、方便的人机交互方式。而人们更加习惯仅仅通过手势就能让计算机理解各种意图。随着计算机视觉研究的兴起，基于手势的实时人机交互有着重要的研究价值，相关技术被越来越多地应用到虚拟现实系统中。本文主要研究复杂背景下指尖检测及空间定位的关键技术，并在此基础上实现了基于双目立体视觉模型的指尖定位系统。在这个系统的基础上，可以通过指尖相对位置、运动来解析出手势。本文的第一部分主要介绍了计算机视觉、实时人机交互系统及其发展，在现阶段的实际应用。在第二部分中，主要研究构建指尖定位系统的关键技术：首先介绍了目前广泛研究的几种前景分割算法以及他们的适用范围，主要讨论了基于静态统计的肤色检测算法和基于动态的混合高斯背景建模算法，同时进行了算法效率上的改进，并将这两种算法结合起来实现手形分割；然后讨论了两种指尖检测算法；在第三部分中，介绍了通过对摄像头的标定来确定其内部参数及外部参数，并通过立体匹配原理来获取指尖的三维坐标，并使用Kalman滤波跟踪算法来平滑指尖运动轨迹，缩小下一帧的检测范围。