头盔式飞行模拟器利用计算机图形显示技术生成逼真的飞行座舱内外虚拟环境,通过头盔显示器输入给飞行员以增强沉浸感。但由于佩戴了头盔显示器,飞行员在模拟训练过程中无法看到自身的手,手部交互受到阻碍。本课题采用视觉交互方案,通过计算机视觉对飞行员的手部进行跟踪和姿态估计,实现自然手部交互。手部跟踪是虚拟环境中视觉交互的基础和核心。针对手部运动过程运动姿态、尺度变化及复杂背景条件下鲁棒跟踪问题,本课题在相关滤波跟踪框架下,提出一种基于特征互补性的自适应融合目标跟踪算法。在HOG特征基础上增加颜色名CN特征,依据2种特征滤波响应自适应分配权重形成融合特征实现手部位置预测,再融合HSV颜色概率直方图跟踪响应,提高位置跟踪准确度,同时设置尺度池实现目标尺度估计。最后通过置信度判别策略完成模型更新。在OTB标准数据集上,测试了该算法在11种不同情况下的跟踪性能,并与目前5种主流相关滤波跟踪算法进行对比实验,实验结果显示出本文算法具有较好的准确性和稳定性。在表观模型框架下,提出一种基于Pareto优化查询双视点手部识别方法。为提高识别准确度,消除自遮挡,采用双视点手势图像库,首先利用Poser Pro建模软件构建双视点手势数据集,并记录手势姿态参数,然后提取手势库图像HOG特征以加速识别速度。视点的增加会降低处理速度,最后为提高搜索效率,本文基于Pareto优化算法将手势识别中的逐层搜索变成不同视点层的并行搜索,获取相应的手势姿态参数。