【摘 要】
：
及时地了解和掌握学习者行为是当前智能教育的研究热点之一。通过计算机视觉技术中的时序动作检测可以自动地判别学生的学习状态,为学习效果评价提供有力支撑。本文以室内教学视频中学生在学习过程中可能出现的动作为研究对象,探讨如何准确地定位动作的起止时间,并识别出相应的动作类别。本文的主要创新性工作包括:（1）在目前THUMOS 2014、ActivityNet等公开视频数据集的基准上,借鉴其构建大规模视频数
论文部分内容阅读
及时地了解和掌握学习者行为是当前智能教育的研究热点之一。通过计算机视觉技术中的时序动作检测可以自动地判别学生的学习状态,为学习效果评价提供有力支撑。本文以室内教学视频中学生在学习过程中可能出现的动作为研究对象,探讨如何准确地定位动作的起止时间,并识别出相应的动作类别。本文的主要创新性工作包括:（1）在目前THUMOS 2014、ActivityNet等公开视频数据集的基准上,借鉴其构建大规模视频数据的基准,针对现有数据集不能满足学习者在室内教学场景检测任务的问题,构建了教室和机房场景下的“Learner Behavior Detection Dataset”视频数据集,为学生行为检测方法提供数据支撑。数据集中学生行为视频共有383个,大小为3.61GB,每帧尺寸为1280×720,30帧/秒,共13类动作（如听课、记笔记、起立回答问题等）,每个动作样本量平均为55个,持续时间约为6～9秒。（2）针对以往方法不能充分利用教室和机房场景下的视频信息中含有特定音频信息和视觉信息,未将两类信息有效地融合的问题,提出一种能够读取视频中音频特征的Bi-modal Transformer Porps时序动作提名方法。该方法首先预处理提取音视频特征,再通过特征编码器进行编码,接下来进入动作提名解码器,最后经过后处理输出含有起止时间的时间片段。在公开数据集THUMOS 2014的实验表明,提名结果AR-AN@100为42.4%,优于现有的TURN网络10.51%,优于TAG网络 13.4%,与 CTAP 网络相差 0.2%基本持平,在“Learner Behavior Detection Dataset”视频数据集上 AR-AN@100 为 65.8%。（3）针对以往方法采用的双流特征而忽略学习者行为数据集视频中时间信息的问题,提出了一种适用于含有时间信息的视频特征的Enhanced-Decouple-SSAD时序动作检测方法。该方法首先预处理提取含有时间信息的视频特征,再通过Enhanced-Decouple-SSAD网络处理特征信息,最后进入解耦和预测层输出含有起止时间的动作片段以及片段中包含的动作类别。在公开数据集THUMOS 2014的实验表明,mAP指标为46.4%,优于Decouple-SSAD网络2.7%,优于BSN网络9.5%,在“Learner Behavior Detection Dataset”视频数据集上 mAP 指标为 13.37%。
其他文献
木质素（Lignin）是植物细胞壁的主要组分之一,其作为植物细胞内的一种物理抗菌物质,经过积累后会形成一层物理屏障以加强对细胞的保护。已有研究表明,木质素能够增强植物对病原菌的抗性,有效防止病原菌的侵染。Herbaspirillum huttitense 5-28（草螺菌H.5-28）是本实验室分离鉴定出来的一种Herbaspirillum属菌株。基于本实验室前期研究,发现草螺菌H.5-28能够通
包膜微泡作为常用的临床诊断药剂和新型的药物载体不仅具有较好的稳定性和声学性能,而且能起到靶向释放和提高疗效的作用,具有广泛的研究与应用价值。磁性微泡是集靶向、示踪和可控释放于一体的药物传输载体,是近年来发展的一种新型功能性微泡试剂。磁性微泡在增强双模造影及提高微创药物递送治疗方面都有巨大应用潜力,因此对其性能的研究具有重要的实际意义,但由于缺乏对动力学行为的深入了解而使其应用受限。首先,本文从一般
随着超声技术在医学诊疗、军事海洋、无损检测、石油测井等领域的发展,各类应用对声场的精准控制需求也越来越高。作为实现电声能量转换的核心器件,超声换能器的性能是决定整体设备水平的关键。针对提高超声换能器的性能水平,本文讨论了匹配层对聚焦超声换能器性能的影响,设计了球冠状聚焦换能器匹配层的制作方法;研究了背衬层材料对超声换能器性能的影响,提出用空气作为水声换能器的背衬层材料,有效提高了换能器的辐射效率;
随着信息时代的不断发展,电子逻辑器件的尺寸减小并逐渐接近极限,人们对电子器件各方面的研究不断深入,开始寻求自旋电子器件来突破其极限来实现高密度磁存储功能。碳纳米管具有独特的物理和化学结构,优良的机械性能和电学性能,吸附磁性元素的碳纳米管的材料也因特殊的电子和磁性能,在纳米器件和自旋电子学中具有潜在的应用前景,从而引起了学者们的广泛关注。本文选择扶手椅型单壁碳纳米管为基底,采用第一性原理计算方法对管
纳米颗粒具有多种性质,可作为载体实现多种生物功能。线粒体在生物学角度被认为是细胞应激和细胞内凋亡信号的放大器。当细胞受伤时,线粒体自身应激反应会影响膜刚性。纳米颗粒会影响膜的许多特性,而Langmuir-Blodgett薄膜技术（LB膜技术）可以表征一系列膜理化性质的变化。本研究通过不同方法制备、修饰并表征了小粒径分散性和稳定性良好的Fe3O4纳米颗粒,以LB膜技术将Fe3O4纳米颗粒与单组分薄膜
在物理研究的众多领域中,非线性薛定谔方程作为描述波包在弱非线性色散介质中传播的普遍方程,它出现在物理和应用数学的许多分支中,包括非线性量子场理论,凝聚态和等离子体物理,非线性光学,流体物理,微扰和相变理论,生物物理等。而三波共振相互作用方程是描述三波模复振幅随时间,空间演化的二次耦合的非频散偏微分方程组。在非线性光学研究领域里,若已知非线性薛定谔方程的表达形式,那么就可以给出孤子解的数学表达形式。
氧化石墨烯（Graphene Oxide,GO）是一种新型的碳纳米材料,在生物医学、环境保护、能源储存等领域都具有很广泛的应用前景。GO作为石墨烯重要的衍生物,其优良的物理化学性质促进了GO成为复合材料的支撑平台,近年来,基于GO的纳米复合材料在生物成像、生物传感以及癌症的检测和治疗中得到了广泛的探索,正逐步被考虑应用于临床诊疗,将纳米颗粒嵌入氧化石墨烯中,形成具有特殊性能的杂化材料,两种材料的特
金属纳米结构由于其具有突破传统光学衍射极限的优良性质而受到广泛的关注,并为集成器件的小型化提供了可能,有望替代半导体而成为新一代新型器件。金属纳米结构器件的一个非常重要的应用就是光波导。常见的光波导主要由一维的金属纳米线和二维的金属纳米面构成。光与金属微纳结构相互作用时,可激发金属纳米结构表面电荷的集体振荡,形成传播型的表面等离极化激元（Surface Plasmonpolaritons,SPPs
经略海洋,挺进深蓝,装备先行。随着我国对海洋探索的不断深入,水声装备的发展也进入了新阶段,而作为水下探测设备的“眼睛”——水声换能器更是海洋环境科学研究、民用航海事业以及军事方面不可或缺的一部分。宽带水声换能器能够在较宽的频率范围内具有更平坦的频率响应,采用脉冲压缩等现代信息处理时保证信号不发生波形畸变、降低误码率、提高可靠性,同时亦有较高的时域分辨率和对外界负载变化较强的适应性,使其得以广泛应用
在信息高速发展的时代,人们对于信息安全性有了更高的要求,通过将个人信息上传至服务器,在无第三方参与下服务器再根据用户需求对信号进行安全处理。保护信息免受恶意攻击以及确保信息的隐秘性均需要借助加密这一强有力工具。随着加密技术的发展,人们对加密下信号处理的关注日益增长。加密域的信号处理从信号的安全性出发,对信号进行一系列的变换运算后,再将信号应用于识别、检测等方面中,例如水印信号的嵌入与提取,图像信号