当前教育信息化趋势显著，各类教育技术迅猛发展。师生课堂行为作为课堂活动的主要内容，具有较高的分析价值。既往的研究主要存在以下几个方面的问题：首先，过于关注课堂活动中出现的单一行为，缺少对于课堂行为的多模态研究；此外，既往研究大多以研究学生课堂行为为主，对教师行为的分析较少，对整个课堂师生互动过程的研究数量更少；最后，单一行为研究较多集中在准确性评估等纯技术领域，无法对真实课堂的教学效果产生实际的影响。基于此，本研究基于弗兰德斯等互动分析方法，提取了一系列典型的行为编码，作为课堂师生行为分析的行为编码基础，用于关联真实课堂教学视频中教师和学生的相关行为量化指标。本文从教师和学生两个角度出发，利用真实课堂教学视频数据，综合运用多种数据处理技术和模式识别方法，设计并计算师生行为相关指标，着重研究教师作为教学活动主体的各项课堂行为，主要开展了以下研究：
　　（1）教师课堂板书行为分析：课堂板书行为分析通过提取人体骨骼节点和姿态识别算法，定义板书动作，计算了教师板书时间和非板书时间的占比。通过本研究：发现语文和英语课堂的板书行为占比较高，而数学课堂的板书行为占比较低。这一指标可用来进一步评估教师的课堂授课类型。
　　（2）教师课堂运动轨迹分析：运动轨迹分析通过提取人体骨骼节点，使用相关节点绘制出教师的运动轨迹散点图，并将教师的活动范围分为讲台黑板和左右学生两个区域。本研究发现：语文课堂在讲台黑板区域的轨迹点分布密集，数学课堂在左右学生区域存在部分轨迹点。本研究可用来评估师生的互动程度。
　　（3）教师课堂音频节律分析：音频节律分析提取教学视频中的音频信号，通过计算语音信号特征信息并进行分析，捕捉教师授课过程中出现的显著音频节律变化，根据节律变化段落数量的占比来判断课堂教师是否存在节律波动。通过本研究发现，数学和英语课堂中出现了明显的节律波动，而语文课堂内波动相对较弱。音频波动起伏可能与教师授课时的激情存在相关，音频节律波动可用来评估教师授课风格。
　　（4）学生课堂举手次数统计：举手次数统计基于tensorflow深度学习框架，构建了基于目标识别算法的举手统计模型。通过该模型，可识别出学生的举手动作，准确率约为79%。通过本研究，可统计出课堂举手的总次数，举手的总人次和举手次数的时段分布。这一指标可用于评估课堂的师生互动程度。
　　（5）教师言语行为编码分析：编码分析基于自然语言处理方法，从课堂音频数据中提取得到授课过程中的有效语义信息。然后，将有效语句分为“讲授”，“提问”，“指令”三类，再通过朴素贝叶斯和TextCNN算法分别构建分类器，发现了TextCNN具有更好的分类效果。编码分析指标可用于全面评估师生课堂行为的类别。
　　（6）教师与学生说话时长分析：时长分析综合评估了教师和学生在课堂上的说话时长和静默时长的比例。该指标结合了教学活动的主客体，可用来评估课堂行为的参与方式。
　　基于以上研究，本文对课堂教学视频的图像，音频等数据进行了多维度，多角度的分析，并最终得到上述可用于评估课堂师生行为的参数，可作为教学效果评估的潜在手段。