由于人机交互的方便性和强烈的表现力,手势被广泛应用于手语和人机交互系统等非接触式交互方法中。手势表现出显而易见的灵活性、直观性和自然性,它也逐渐成为人机交互领域不可或缺的因素之一。此外,人机交互界面设计为手势交互提供一个更加引人入胜的方式。如今社会已进入信息化和智能化阶段,广泛的人机交互界面成为当下的研究热点。教育是社会发展的重要因素,将手势用于教学中不仅可以减轻老师的压力,而且能够增强学生的沉浸感。本文以面向交互式的虚拟教学平台为背景,以“上好一节立体几何课”为最终目标,针对传统手势交互中由于手势单一、识别方法等造成的识别率较低、交互性差、鲁棒性较低等的问题,提出了基于不同设备融合的多模态手势识别新方法,建立基于虚拟教学的人机交互界面。本文的主要研究内容和创新点归纳如下:(1)提出了基于Hausdorff距离的动态手势识别算法;目前大多针对动态手势的识别方法较为单一,且普适性较差,为了提高基于可穿戴式设备的手势识别正确率,本文使用数字手套获取手势过程中手指关节的角度变化数据,通过拟合曲线并计算手势之间的Hausdorff距离来进行动态手势识别,将复杂的手势识别转化为简洁的距离计算。实验结果表明,针对10种常用的动态手势,该算法的识别正确率可以达到98%,并且具有计算量小、效率高的特点,能够保证算法的精准性和鲁棒性。(2)提出了基于多设备融合的多模态手势识别算法;当下鲜少存在将视觉信息与运动信息结合进行手势识别的方法,并针对目前存在的对不同模态手势采用不同识别方法等一系列问题,本文提出一种统一的识别模型和算法。利用数据手套和Kinect分别获取手指关节的角度变化数据和手部质心的移动变化数据,通过对异源数据进行预处理,在解决手部抖动问题的同时将所有手势看做曲线进行识别。首次对皮尔逊相关系数进行改进并构建手势相似度算子,建立统一的手势识别算法来进行手势识别。通过对定义的50种静态手势、动态手势和轨迹手势进行识别测试,实验结果表明,本文所提出的方法具有97.7%的识别率,并且可以应对复杂的手势交互。(3)提出了微手势的概念及针对其的新识别算法;在提高手势识别率的基础上,为了增强交互的自然性与准确性,本文另提出了一种基于微手势的识别算法,充分利用近表面空间的三维空间信息,构建微手势识别模型,将微小而又丰富的手指关节运动信息看作一种确定时间序列,提取序列的趋势特征以执行微手势识别。通过对比实验结果及分析可以表明,本文算法针对微小运动手势的识别具有较好的识别效果,且能够在识别层面将微手势及普通大幅度手势和噪声手势区分开,在应用层面将对应于同一语义的微手势和普通大幅度手势映射到相同的交互操作上。本文同样对基于微手势识别的用户体验进行了统计,统计发现,对于微小运动的交互负荷要远小于普通的大幅度手势操作。(4)面向交互式教学界面的虚拟场景的设计与应用;为了能够支撑多模态手势交互任务,该研究构建了包含50种手势的大型数据集,其中包括20种静态手势、14种动态手势和16种轨迹手势。另外针对该数据集进行了一系列数据预处理工作,包括平滑噪声和手势序列曲线的生成等。本文使用Unity 3D设计并建立了一个能够体现手部细节特征的虚拟手模型和一个三维模拟课堂场景,将数据手套数据经由UDP实时地传入Unity 3D中作为控制语义输入,完成虚拟手模型与真实人手的动作匹配,进而“教师”可以与虚拟目标和场景进行互动。