基于人体骨架和深度学习的学生课堂行为识别研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:lequ123123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
学生的课堂行为表现是课堂教学评价的重要组成部分,对教学质量的提高具有重要的意义。在传统的课堂教学中老师仅通过课上观察学生课堂行为,课后通过观看课堂录像或利用基于编码系统的课堂教学视频分析来进行学生课堂行为分析。这些方法依赖观察者对学生课堂行为进行分析,耗时耗力且效率不高,因而无法进行较大规模和持续的观察测量。近年来,人工智能和计算机视觉等技术发展迅速,加速了信息时代的教育变革,人们越来越重视学生课堂行为分析的信息化与智能化。传统的行为识别方法利用人为设计特征并训练分类器的方式进行行为识别,只适用于场景简单,目标单一、动作分类少等小分类的问题,且识别率受人工设计的特征影响较大,不适合环境复杂,多目标行为识别,无法满足学生课堂行为识别的需求。基于深度学习的行为识别方法虽然克服了传统方法的缺点,但由于目前没有开放的大规模的学生课堂行为数据集,在学生课堂行为数据集有限的情况下,仅使用深度学习的方式进行学生课堂行为识别,容易受到真实环境的干扰因素,如人体的体态、性别、动作的细微程度、动作的复杂度和相似性等等,因此也难以满足所有学生课堂行为的分类。针对以上问题,本文使用姿态估计提取人体骨架特征和训练深度神经网络的方式来进行学生课堂行为识别,提出了基于人体骨架和深度学习的学生课堂行为识别方法,及时、有效地反映学生的学习状态,帮助教师精准掌握学生的课堂学习情况,助力智能化教学与管理,提高课堂教学质量。具体的研究工作如下:(1)研究人体姿态估计技术获取人体骨架的相关理论与技术,介绍了两种典型常见的骨架检测模型AlphaPose和OpenPose,并对这两种模型进行了对比分析,选取OpenPose骨架检测模型提取人体骨架用于学生课堂行为识别。(2)由于目前没有公开的学生课堂行为数据集,本文利用摄像机以实地拍摄采集了厦门某实验小学4800幅学生课堂行为图像,包含举手、听课、东张西望、阅读、书写、起立、睡觉7种典型课堂行为,构成学生课堂行为数据库(Student Classroom Behavior Image Database,以下简称 SCBID)。(3)为了排除真实环境因素的干扰,进一步提高学生课堂行为识别的准确率,本文研究了基于人体骨架和深度学习的学生课堂行为识别方法,通过提取学生课堂行为图像的人体骨架,并结合本文建立的一个10层的深度卷积神经网络CNN-10来进行学生课堂行为识别。(4)分别使用CNN-10网络与本文提出的方法进行训练和测试,进行对比实验,准确率分别为93.65%和97.92%,结果表明本文提出的方法比仅用深度学习的CNN-10识别效果更好;同时,本文在SCBID数据库上分别使用AlexNet、VGG16、GoogleNet、ResNet18实现学生课堂行为识别,与本文方法的识别率进行了对比;此外,和部分具有代表性的课堂行为识别方法对比了识别效果,证明本文方法能有效识别学生课堂行为,提高识别率。
其他文献
汽车发生正面碰撞时,大部分的碰撞能量由前纵梁来吸收,前纵梁结构设计的好坏在整车碰撞安全中起着重要的作用。前纵梁的变形主要有压溃和弯曲变形两种。在前纵梁发生弯曲变形时
超高压-高压剪切带是大陆碰撞造山过程中变质-变形分解作用形成的一类特殊的剪切带。剪切带内的构造以含柯石英、金刚石等超高压-高压矿物的榴辉岩、面理化超基性-基性岩、片麻岩
人才的预测、规划、培养和使用是一个比较复杂的社会系统工程,它是一项综合性很强,涉及面广泛的科研工作,其战略目标是在未来的历史时期,使国家的智力开发、人才资源在数量和质量
我们邀请许多跨国企业的高级主管到波士顿开会,所讨论的都是全球性的问题:如社会贫富差距,全球经济依存度等等。当时有一位来自英国石油公司的人提到,我们不应该只讨论数字落差的
水肥一体化技术是农业部推荐的转变农业生产的一号技术,具有节水、节肥、提高作物品质与产量、提高劳动生产率,改善生态环境的独特优势。本论述在全面分析了甘肃省发展水肥一体
近年来,河南省食品安全取得了很大成绩,但也存在着很多问题。河南省应统一组织和领导,加强行政管理和执法力度,从建立健全食品安全检测体系、法律体系、信用体系、监督体系、
目的探讨急性低血钾麻痹的发病因素,临床表现及治疗,对降低其发病率,提高治愈率,减少死亡率有着重要意义。方法对本科2005~2009年以来共收治的急性低血钾麻痹病人88例进行分析
本文针对保暖絮片的现有问题,并结合家纺行业倡导的可持续绿色发展理念,以粘胶纤维为主,混合细特涤纶纤维和双组分涤纶纤维,采用针刺法非织造工艺制备一种混合保暖絮片,通过对四种不同混合比的保暖絮片进行性能测试和对比分析,确定混合絮片综合性能较优的三种纤维混合比例分别为70%粘胶纤维,20%细特涤纶纤维和10%双组分涤纶纤维。为系统地研究该混合保暖絮片的舒适性能,进行了蓬松性、压缩性、压缩回复性、透气性、
目的:探讨青年女性胃癌病人的临床病理特点,提高对青年女性胃癌病人的认识水平及诊治水平。方法:收集了白银市第二人民医院2006年1月-2015年12月lO年间的青年女性经病理确诊的40
我国关于行政调解的立法在如火如荼地进行,各省市在规章和规范性文件中也都规定了行政调解解决行政争议和民事争议,然而行政调解解决行政争议的实践却门庭冷落。一方面有法律