轻型飞行模拟器采用虚拟现实立体头盔作为视景设备,虽然确保了模拟器体积小巧、视景设备成本低廉,但飞行员戴上头盔后看不见实际的开关,也看不见飞行员自己的手,很大程度上影响人机交互过程,给舱内的开关、按钮类操作模拟造成困难,进而难以完成飞行训练的逼真模拟。现有虚拟现实手部人机交互技术尚不完善,开关类操作的力觉和触觉模拟困难。为完善虚拟现实模拟器人机交互功能,关键是要解决虚拟现实系统中高度逼真的手部人机交互技术。基于视觉的检测跟踪技术由于比较符合交流习惯成为近年来应用于人机交互技术中的一项关键技术,本课题研究了简单背景下的实时手部跟踪定位技术,通过双目立体视觉技术,对双目立体图像对中的运动目标进行检测与提取,并在图像序列中对运动目标进行跟踪和三维定位。首先,本文在手部检测阶段提出了基于肤色检测并融合运动信息的新方法。利用HSV颜色空间和基于高斯模型的肤色建模对手部肤色进行提取,并运用背景差分算法进行运动信息分析以去除图像中的类肤色背景。该方法保证了对运动手部进行检测提取的准确性。其次,本文在手指跟踪算法中提出了CamShift算法与Kalman滤波算法相结合的新方案确定搜索窗口以获得手的位置。利用CamShift算法计算手部跟踪窗口的位置和大小,使用Kalman滤波预测手心位置。该算法很大程度上提高了跟踪效率,保证了跟踪的实时性。最后,在指端定位阶段利用基于颜色的匹配方法实现了对手部手指进行定位,避免了在特征点匹配上消耗大量的时间,满足图像处理实时性的要求。实验表明,该系统跟踪方法效率高,能够有效识别手部和手指,算法鲁棒性较高。随着进一步研究的深入,此项技术势必会使得人机交互更加自然方便。