基于虚拟现实的飞行模拟器通过软件构建不同机型驾驶舱虚拟环境实现一个训练平台完成多种飞行任务的训练,使用、维护成本低。该类模拟机驾驶舱中采用虚拟头盔显示视景,由于虚拟头盔对外界视觉的阻隔,手部交互受到阻碍,成为制约基于虚拟现实模拟器发展的瓶颈问题。在人机交互技术领域,基于视觉的手部交互技术凭借其良好的舒适性和自然性被广泛研究和应用。但基于视觉的方法容易受到外部环境和自身因素的干扰,影响交互过程的性能。本文主要研究交互过程中的手部跟踪和手势识别,通过分析交互过程中的特点以及存在的问题,提出一种基于优化查询的手部交互技术来提高跟踪和识别过程的鲁棒性。手部跟踪属于目标跟踪研究的范畴,跟踪环境的复杂性和目标变化的多样性给稳定、实时的跟踪带来了诸多挑战。本文在相关滤波框架下提出一种基于多特征优化查询的目标跟踪算法。利用多源特征训练滤波器,提高对环境和自身变化的适应性。对多个滤波响应结果,提出使用Pareto-Optimality优化查询方法对结果进行融合,得到最优跟踪结果。同时针对跟踪器可能出现的错误,提出一种基于关键点匹配的目标重检测机制。结合实时更新的融合时空信息的关键点数据库,在判断跟踪失败的情况下对目标进行全局检测并对跟踪结果进行纠正,防止错误在滤波跟踪模型中的积累。与多种跟踪算法在多种属性场景下的对比实验验证了本文跟踪算法的鲁棒性。手势识别的过程中,由于人手自由度高,手势在单视点下容易出现自遮挡或者同一手势变体之间差异过大的问题,给准确识别手势带来困难。因此本文提出一种以深度学习网络为基础的正交双视点手势识别框架。利用深度网络提取特征,并提出一种降维融合方法将网络提取的浅层和深层卷积特征结合起来,提高特征鲁棒性。同时分别对两个视点下的手势图像进行识别得到分类概率向量,再结合Pareto-Optimality方法对分类结果进行优化,得到最终的识别结果。实验证明,融合多层的卷积特征和双视点识别框架能有效提高手势识别准确率。