论文部分内容阅读
如何让学生保持高效率的学习状态一直都是各领域尤其是教育界的研究热点,为了确保课堂上学生的学习效率,尽可能早的发现学生在课堂进入疲劳状态并及时提醒学生就显得尤为重要。随着教育体系、教育设备的不断完善和优化,将疲劳检测的方法引入学生的课堂已是必然趋势,学生疲劳检测理论与方法的研究在学术领域和实际应用上都具有重要的研究价值和实际意义。为了克服目前主流检测方法特征检测率较低、对疲劳判断的指标单一等问题,本文结合深度学习当中的卷积神经网络训练出网络模型,提高了对脸部特征检测的准确率,并且在目前PERCLOS疲劳判断的基础上引入新的变量,将嘴部的张合状态是否过大作为判断疲劳的另一指标。通过在课堂上对学生的眼部、嘴部等区域进行采样与分析,结合更新后的疲劳判断指标与方法进而给出疲劳与否的判断。从实验结果来看,证明了网络模型的必要性、引入新的评价指标的有效性以及本文的应用价值。本文所完成的主要工作内容如下:(1)实现了基于深度学习中卷积神经网络的人脸检测与身份识别的功能,完成了数据库的构建。但在实际教学课堂当中会学生会出现大量肢体动作遮挡脸部区域,因此,采用三个方向对学生进行人脸视频流的获取,选择三个视频流中遮挡较小的视频流进行分析,另外在图像数据集中补充了大量不同比例的横向脸部裁剪图,并通过实验确定了有效情况下的最大遮挡比例。整个图像数据集包含1811张完整的人脸图片,在此基础上进行其他实验步骤。(2)利用特征分类器筛选出眼部与嘴部区域特征图像,包括睁眼图片885张,闭眼图片507张。嘴部张合度过大的图像514张,正常的图像996张,完成了实验数据库的构建。利用复杂环境下的图像数据集训练出来的网络模型使人脸被检测率与抗干扰性得到提高,能在较为复杂的环境下正常使用。(3)结合参考文献提出一种更新后的疲劳判断指标。新的指标在PERCLOS方法的基础上引入了新的变量,将嘴部张合也作为疲劳判断的指标之一,并且通过实验确定了具体的判断过程,提高了疲劳检测的可靠性。(4)对自设计的卷积神经网络完成构建与训练过程。通过实验研究了各项参数对网络模型准确率的影响,并确定了适合本次实验的网络参数与结构,训练后得到眼部分类模型以及嘴部分类模型。(5)实现了基于深度学习的课堂疲劳检测功能。通过三个网络模型分别得到能识别学生身份、判断眼部睁闭、判断嘴部张合的相关信息,再结合更新后的疲劳判断指标,对学生疲劳与否给出最后判断,完成了对课堂学生疲劳的检测目标。