论文部分内容阅读
信息技术的迅猛发展使得人机交互方式发生了巨大的改变,越来越多的人开始追求自然的人机交互体验。手势识别凭借表达信息丰富以及灵活性和直观性在自然人机交互领域备受重视。传统的基于数据手套或者视觉传感器的手势识别由于穿戴不便和易受外界干扰等问题,难以在实际场景中应用。结合手势识别与教师多媒体教学的相关应用研究较少,目前尚无一套适用于课堂教学的手势识别系统。针对上述问题,本文利用Intel RealSense获取手部深度信息和骨骼关节信息,建立了一套教学手势数据库,基于该手势数据库,研究了手势的数据预处理,关键帧提取,特征选择,分类识别等相关技术,建立了一套适应于课堂教学的手势识别系统。本文的主要工作包括以下几个部分:首先,充分调研教师在课堂上操作工具软件的习惯,通过总结归纳,定义了一套可以覆盖教师大部分操作的手势集,并以该手势集为基础,建立了一个完备的且适用于教学的手势数据库(CCNU-RSTGD)。其次,提出一种等时间间隔采样和K-means聚类结合的算法来提取手势序列关键帧,以减少数据冗余;在详细分析手势特征的基础上选择了手部关节点的几何和空间等描述符共40维作为手势特征。再次,在分析各类分类算法的基础上,提出了一种将决策树、SVM和AdaBoost等三种分类器融合的分类算法DT-SVM-Boosting。实验证明,利用该分类器对对本文手势集进行分类识别,准确率达到98.63%。最后,在上述研究的基础上建立了一个适用于课堂的手势识别系统,并将该系统与starC教学平台结合进行实际应用测试,实现用手势对starC教学平台中教学工具软件的操作控制。本文为课堂教学提供了一套通用的手势集,并对教学手势的预处理、特征提取和分类识别等过程进行了深入的研究,最后将手势识别与教师多媒体教学结合起来,让教师课堂教学变得灵活生动。