基于课堂视频的学生行为与专注度识别研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:jian85733547
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工智能技术的快速发展促进教育领域改革的不断深化,人们开始使用智能化和信息化的处理方式对课堂教学质量展开评估。课堂是学生学习知识、接受教育的重要场所。学生作为课堂教学活动中的主要个体,他们在课堂上的行为变化是教学活动的直接体现,因此学生的课堂行为反映了学生的学习状态。在传统的观测方法中,研究人员通过课堂观测、问卷调查等途径来获取学生课堂行为信息。这种以人为主导的检测方法难以避免主观性,并且存在效率低、观测不全等问题,难以扩展到智能信息化课堂教学中。而基于深度学习的课堂行为识别方法虽然克服了传统方法的缺点,但也存在一系列数据和技术上的问题。比如,目前并没有针对学生课堂目标检测、行为的数据集,真实教室环境中深度学习算法易受到光线、遮挡、摄像头视角等因素的影响。针对以上问题,本论文主要开展以下工作:(1)构建学生课堂数据集。本文采集不同课程不同教室的视频数据构建了学生课堂数据集。构造的数据集由检测部分、姿态部分和行为部分组成。检测部分包括5,000个样本,每个样本含8到66个学生。姿态估计部分包括2,832个样本,每个样本包含关键点和物体目标标签。行为部分有3,173个样本,具体行为包括:读写、看黑板、玩手机、左右看、起立、举手和趴着。(2)设计了一种基于课堂教学视频的行为识别与专注度评价算法,根据学生课堂行为来计算学生的专注度。首先,输入视频经过采样、检测获取学生的位置信息;其次,利用跟踪分配方法,将课堂中的多目标视频转换为学生单目标的编号(ID)序列;最后将学生ID序列输入到基于部件注意力的行为识别网络中得到单个学生专注度得分,并利用加权融合的方式得到全体学生和整体课堂的专注度得分。此外,采用迁移学习的方式来改善样本量不足的问题。经过多次实验表明,本方法能够检测出单个学生和课堂整体专注度,并且基于部件注意力的行为识别算法检测精度达到85%以上。(3)设计了一种结合姿态估计和目标检测的多任务课堂行为识别算法,用于课堂视频场景中的学生行为识别。首先目标检测器从课堂视频的关键帧中提取单个学生区域作为算法的输入。然后多任务热图网络(MTHN)模块提取多尺度特征联合的中间热图,通过不同的映射关系将中间热图编码为姿态估计和目标检测任务的私有热图,进而获取关键点和物体位置信息。最后,利用行为向量和度量向量对课堂行为进行建模,并通过行为识别算法检测出学生行为。经实验表明,本文提出的行为识别算法在测试阶段表现良好,检测准确率达到90%以上。在算法精确度提高的情况下,学生和整体课堂专注度得分随时间变化的曲线呈现平滑的趋势。
其他文献
无线传感器网络(Wireless Sensor Networks,WSNs)是由微型传感器设备组建的分布式网络,任务是监测部署环境中的自然事件或人类活动。为了对已经部署好的传感器节点进行统一的管理,经常需要由基站或汇聚节点(Sink)向传感器节点发送管理消息,这种与数据收集相反方向的数据传输称为数据分发。数据分发是WSNs中重要的数据传输方式,良好的数据分发协议在可靠性、传输效率和可扩展性方面都具
学位
亚氧化硼B6O具有高导热性、高硬度、低密度和高化学惰性等优良性能,被广泛应用于工程机械精密加工、国防器械涂层、电子电器漆面等现代化重要领域。为了改善B6O脆性断裂的缺陷,本文采用结构替代法,通过对B6O化学组分和配比的调整,提出了一种新型过渡金属与轻元素相结合的三元化合物Cmcm-B5XO(X=Al、Zr),并基于第一性原理对该材料的结构、稳定性、机械性能、光电特性以及掺杂对材料内在机理的影响进行
学位
随着车联网技术的飞速发展,未来将有越来越多的设备接入车载网络,带来爆炸性的流量增长。将中继协作通信技术应用于车载通信系统可通过大规模连接减少流量拥塞、改善通信网络的覆盖能力和通信质量。中继协作尤其适用于城市交通地理环境复杂和高楼遮挡等情况。此外,无线传输环境的开放性会使通信系统遭受到恶意窃听用户攻击,严重影响了车载通信系统的安全性能。因此,如何实现协作车载通信系统中信息高效传输的同时保障通信系统的
学位
报纸
目的 筛选确定与压力性损伤相关的局部超声征象,探讨局部超声征象联合左室射血分数对ICU患者压力性损伤的预测价值。方法 选取2021年9月至2022年6月入住新疆医科大学第一附属医院ICU的236例患者作为研究队列,队列中发生骶尾部压力性损伤患者为压力性损伤组(n=59),以性别、年龄(±5岁)为匹配条件,按1∶3匹配未发生压力性损伤的患者为非压力性损伤组(n=177)。使用床旁超声探查局部超声征象
期刊
本研究提出一种耦合液化天然气(liquefied natural gas,LNG)冷能及有机朗肯循环(organic ranking cycle,ORC)系统的新型液化空气储能系统。在用电低谷期,LNG和液态丙烷的冷能共同液化压缩空气,从而存储能量。在用电高峰期,液态空气释能发电,LNG的冷能则被丙烷回收。该系统将LNG连续气化释放的冷能作为辅助能源与储能系统相结合,能够灵活释能发电。另外,该系统
期刊
由于芯片技术和大数据的发展,人工智能技术再次兴起,受其影响,基于深度学习的语音命令词识别技术应用也越来越广泛。然而,在实际应用中无论是基于传统技术还是深度学习技术,命令词识别技术受到噪声干扰会导致识别准确率严重下降,存在稳健性不足的问题。本文以麦克风阵列传统降噪算法和神经网络为主要技术,研究并提出了若干提高语音命令词识别稳健性和正确率的方法。针对方向性噪声干扰和对数最小均方误差算法降噪后语音失真,
学位
探地雷达技术(Ground Penetrating Radar,GPR)是一种利用高频无线电波有效检测地下目标和介质分布特性的手段,以不破坏场景、不损伤目标的优点探索未知地域,具有良好的前景与潜力。由于探地雷达数据十分复杂,传统方法对数据的解释过度依赖专业人士解答,大大限制了它的发展。本文利用卷积神经网络方法处理探地雷达回波数据图像,将依赖于人工设计特征的计算问题变成图像处理操作,开展了对地下目标
学位
太赫兹科学技术在通信、生物检测、安检、成像等领域具有广阔的应用前景,是目前国际上最受关注的学术前沿领域之一。但是,作为太赫兹技术应用的关键器件,太赫兹波调制器仍存在调制效率低、带宽窄、功能性单一等问题,阻碍了太赫兹科学技术的发展和应用。石墨烯作为一种具有独特光学和电学特性的可调材料,为太赫兹波调制器的研究提供新的方向。因此,本文围绕太赫兹波调控技术的需求,设计了多款石墨烯超材料结构,对太赫兹波在幅
学位
过渡金属硫族化合物(TMDs)的半导体原子薄层由于其独特的电子结构和光学性质,使其在场效应晶体管、超薄层光伏器件和超灵敏的光电探测器等领域有广阔的应用前景。二硫化钨(WS2)晶体作为一种二维材料,具有TMDs家族所共有的较弱层间范德华力,可通过机械剥离法制备出单层或多层的纳米薄膜的特点,与其他的TMDs材料相比具有更宽的层数可调带隙(1.3-2.1 e V)、更低的缺陷密度、更小的有效质量。同时W
学位