基于RealSense的教学手势识别研究与应用

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:gaiwenru
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息技术的迅猛发展使得人机交互方式发生了巨大的改变,越来越多的人开始追求自然的人机交互体验。手势识别凭借表达信息丰富以及灵活性和直观性在自然人机交互领域备受重视。传统的基于数据手套或者视觉传感器的手势识别由于穿戴不便和易受外界干扰等问题,难以在实际场景中应用。结合手势识别与教师多媒体教学的相关应用研究较少,目前尚无一套适用于课堂教学的手势识别系统。针对上述问题,本文利用Intel RealSense获取手部深度信息和骨骼关节信息,建立了一套教学手势数据库,基于该手势数据库,研究了手势的数据预处理,关键帧提取,特征选择,分类识别等相关技术,建立了一套适应于课堂教学的手势识别系统。本文的主要工作包括以下几个部分:首先,充分调研教师在课堂上操作工具软件的习惯,通过总结归纳,定义了一套可以覆盖教师大部分操作的手势集,并以该手势集为基础,建立了一个完备的且适用于教学的手势数据库(CCNU-RSTGD)。其次,提出一种等时间间隔采样和K-means聚类结合的算法来提取手势序列关键帧,以减少数据冗余;在详细分析手势特征的基础上选择了手部关节点的几何和空间等描述符共40维作为手势特征。再次,在分析各类分类算法的基础上,提出了一种将决策树、SVM和AdaBoost等三种分类器融合的分类算法DT-SVM-Boosting。实验证明,利用该分类器对对本文手势集进行分类识别,准确率达到98.63%。最后,在上述研究的基础上建立了一个适用于课堂的手势识别系统,并将该系统与starC教学平台结合进行实际应用测试,实现用手势对starC教学平台中教学工具软件的操作控制。本文为课堂教学提供了一套通用的手势集,并对教学手势的预处理、特征提取和分类识别等过程进行了深入的研究,最后将手势识别与教师多媒体教学结合起来,让教师课堂教学变得灵活生动。
其他文献
随着空间飞行器的电子设备向着小型化和集成化的方向发展,对综合电子系统提出了高性能、轻质化、集成化、小型化等要求。系统级封装(System in Package,SiP)已经成为重要的先进
目的推动我院药房的自动化和信息化建设,拓展药学服务类型并提高医院药学服务质量。方法通过调整药房的布局、设备对接、品种匹配与调试等工作,完成了我院智慧药房建设。结果
在我国,随着资本市场的发育和上市公司的不断增多,企业并购重组活动也日趋频繁。但是,诸多的并购活动往往因为风险问题而失败,对并购双方都造成很大损失。因此,对企业并购过程中风
<正>案例资料王某,男,28岁。2014年10月17日,因琐事与他人发生争执并被殴打。约2小时入住某医院骨科就诊。入院检查:神清,急性病容,右手拇指腕掌关节处凸隆肿胀,皮肤瘀青,触
会议
本文通过对我国房地产信贷风险构成因素的分析,提出加强国家的政策监管力度、商业银行方面作出努力、企业自身提高市场竞争力等措施来有效防范信贷风险。 Based on the anal
<正>指缺失的法医学鉴定在《人体重伤鉴定标准》第七条及《人体轻伤鉴定标准(试行)》第二十三条中均涉及。在实际检案中,指缺失的损伤鉴定也经常碰到。许多法医对指损伤后在
会议
随着大型家用电器的普及,我国火灾发生率逐渐走高。一旦发生火灾,轻则危及人们的财产安全,重则造成人员伤亡。在火灾调查中经常会通过对痕迹的应用来分析引发火灾的原因所以
<正>我的家乡处在淮北大平原上,这里盛产芝麻。芝麻又称脂麻、胡麻、油麻、巨胜,胡麻科胡麻属,是一年生草本油料作物。芝麻可以做成香油,而芝麻叶可以做成干菜,放在面条锅里,
期刊
【正】【教学内容】人教版一下第2至3页。【教学目标】1.使学生初步认识、辨认、区分长方形、正方形、平行四边形、三角形和圆。2.体验"面在体上",实现对平面图形的进一步认
研究背景:骨关节炎(Osteoarthritis OA)又称退行性骨关节病,是最常见的一种关节紊乱性疾病,在世界范围内影响着成千上万的患者,在中老年人群中尤为多见。有报道指出,到2020年