随着计算机视觉、硬件技术的发展,基于多种传感器联合的多维度感知虚拟现实(Virtual Reality,VR)教育应用正在逐渐取代传统2D桌面应用成为信息化教育的主流。在技能习得类VR教育应用中,为学习者提供身份验证服务以便于针对不同学习者制定个性化的教学方案是有必要的。但是,在VR环境中使用传统的基于密文输入方式的身份验证极为不便。在技能习得过程中,师生间需要在VR场景中进行大量的交互,如学生举手提问、学生操作正误的监测等,而传统VR系统的操作指令较为单一,仅能实现操作对象空间位置、旋转角度的改变,无法针对参与者的动作提供更丰富的拟真反馈。手柄作为传统VR应用仅有的控制设备,其功能定制自由度不高,限制了VR协作学习场景的拟真性和扩展性。针对VR教育应用的身份验证任务,本文提出了基于稀疏约束的面部识别方法。针对手柄的功能定制自由度不能满足VR协作学习场景中操作多样性的需求问题,本文提出了基于人体动作识别的场景控制方法。本文的主要成果如下:1.提出了基于稀疏约束凸非负矩阵分解的人脸识别算法。算法扩展了矩阵分解的维度,在保持了流形结构的同时提高了算法对噪声的抗干扰能力。2.提出了一种融合RGB特征、Depth特征和Joints特征的高维组合特征用于描述人体的姿态,进而完成人体动作的识别。充分利用了多种传感器的数据,并基于Late-fusion完成了三种特征的有机融合。3.提出了一种超图正则化的正交约束无监督特征选择算法。算法保留了基于超图的流形结构,在降低了组合特征维度的同时,学习到了更丰富的样本空间结构信息。4.构建了小型动作识别数据集。数据集包括6种常见动作的样本,样本在动作幅度和人体高度上存在较大差异。通过深度摄像头,采集人体动作的RGB图像、深度图像与人体关键点。对数据集中每个样本进行手动标注,提供了动作类别的真实值。在面部识别方面,在公用面部数据集Grimace、Faces95上进行了聚类实验。分析对比了8种基于非负矩阵分解的面部识别算法,本文所提面部识别算法在不同程度上优于对比算法。在动作识别方面,本文所提动作识别算法在数据集上取得了平均88%的正确识别率,在映射到控制指令后基本可以满足VR应用的场景控制需求。