虚拟现实(Virtual Reality,VR)技术是在计算机技术、计算机图形技术、传感器技术、人机交互技术等基础上发展起来的一门新型综合性技术。它的出现为人们提供了一种全新的人机交互方式,因此传统的WIMP交互界面和基于鼠标、键盘的交互工具和已不能适应在虚拟环境中进行交互的需要,而手势、立体显示等更自然的交互通道极大地提高了人机交互的自然性和高效性。其中对人手的运动跟踪和手势识别在当今的人机交互中起着重要的作用。而基于手势的交互技术需要研究的问题主要有手的模型、手势的输入技术和手势的识别技术等等。针对上述问题,本系统基于VR Juggler这个虚拟现实应用平台,利用数据手套Data Glove Ultra 14和open Inventor及Visual C++等开发工具,对人手的建模及手势交互进行了深入的理论研究和实际验证。主要研究工作概括如下:第一,首先深入研究了立体显示的原理及实现技术,根据现有条件提出使用分光技术,在新型开源平台VR Juggler的基础上,构建基于双目视觉的立体显示系统,并且很好地解决了其中的双机同步问题。第二,在分析了手的解剖结构和运动特点的基础上,运用层次建模的方法建立手的几何结构模型,之后,将每一根手指都看作是由转动关节和与之相连的连杆组成的操纵装置,合理添加父子约束关系,运用机器人学理论建立起手的运动学模型。并完成了现实世界中人手与虚拟环境中虚拟手的映射。最后,在上述研究的基础上,设计并实现了一个基于双目立体视觉的手势交互的原型系统。在这个系统中,用户可以对虚拟物体进行简单的操作,并可利用手势在虚拟环境中漫游。在其他虚拟环境的构建中,同样可借鉴本文的方法,深入研究其中的交互问题。