论文部分内容阅读
学生的课堂行为表现是课堂教学评价的重要组成部分,对教学质量的提高具有重要的意义。在传统的课堂教学中老师仅通过课上观察学生课堂行为,课后通过观看课堂录像或利用基于编码系统的课堂教学视频分析来进行学生课堂行为分析。这些方法依赖观察者对学生课堂行为进行分析,耗时耗力且效率不高,因而无法进行较大规模和持续的观察测量。近年来,人工智能和计算机视觉等技术发展迅速,加速了信息时代的教育变革,人们越来越重视学生课堂行为分析的信息化与智能化。传统的行为识别方法利用人为设计特征并训练分类器的方式进行行为识别,只适用于场景简单,目标单一、动作分类少等小分类的问题,且识别率受人工设计的特征影响较大,不适合环境复杂,多目标行为识别,无法满足学生课堂行为识别的需求。基于深度学习的行为识别方法虽然克服了传统方法的缺点,但由于目前没有开放的大规模的学生课堂行为数据集,在学生课堂行为数据集有限的情况下,仅使用深度学习的方式进行学生课堂行为识别,容易受到真实环境的干扰因素,如人体的体态、性别、动作的细微程度、动作的复杂度和相似性等等,因此也难以满足所有学生课堂行为的分类。针对以上问题,本文使用姿态估计提取人体骨架特征和训练深度神经网络的方式来进行学生课堂行为识别,提出了基于人体骨架和深度学习的学生课堂行为识别方法,及时、有效地反映学生的学习状态,帮助教师精准掌握学生的课堂学习情况,助力智能化教学与管理,提高课堂教学质量。具体的研究工作如下:(1)研究人体姿态估计技术获取人体骨架的相关理论与技术,介绍了两种典型常见的骨架检测模型AlphaPose和OpenPose,并对这两种模型进行了对比分析,选取OpenPose骨架检测模型提取人体骨架用于学生课堂行为识别。(2)由于目前没有公开的学生课堂行为数据集,本文利用摄像机以实地拍摄采集了厦门某实验小学4800幅学生课堂行为图像,包含举手、听课、东张西望、阅读、书写、起立、睡觉7种典型课堂行为,构成学生课堂行为数据库(Student Classroom Behavior Image Database,以下简称 SCBID)。(3)为了排除真实环境因素的干扰,进一步提高学生课堂行为识别的准确率,本文研究了基于人体骨架和深度学习的学生课堂行为识别方法,通过提取学生课堂行为图像的人体骨架,并结合本文建立的一个10层的深度卷积神经网络CNN-10来进行学生课堂行为识别。(4)分别使用CNN-10网络与本文提出的方法进行训练和测试,进行对比实验,准确率分别为93.65%和97.92%,结果表明本文提出的方法比仅用深度学习的CNN-10识别效果更好;同时,本文在SCBID数据库上分别使用AlexNet、VGG16、GoogleNet、ResNet18实现学生课堂行为识别,与本文方法的识别率进行了对比;此外,和部分具有代表性的课堂行为识别方法对比了识别效果,证明本文方法能有效识别学生课堂行为,提高识别率。