传统学习情境下,教师主要通过对学生学生行为和情绪变化以及作业完成情况进行评价,以确保教学质量。目前对于学生的评价依旧存在以下几个问题,第一,由于老师精力有限,存在对学生的评价不够全面、不够及时;第二,评价角度单一,无法综合考虑影响学习评价的因素;第三,评价指标之间的关联性不强,导致评价效果不佳,对学生的发展产生一定影响。近年来,随着人工智能和信息技术的加速发展和广泛应用,智慧课堂的时代己经到来,图像处理、人工智能等新技术为个性化支持服务、提升教学质量方面提供了契机,基于此,本文主要研究内容如下:（1）构建多模态学习评价模型针对单维度信息评价不全面的问题,设计一种多维度的学习评价模型,用于计算学生的学习评价结果得分。该模型基于建构主义理论、多元智能理论,融合了学生认知注意力、情感态度以及课程接受度三个维度信息具体表现为学生行为、面部表情,和答题信息三个属性。该模型从多个维度描述学生在智慧课堂下学生的学习状态,对学生进行完整的评估。（2）多模态课堂信息采集模型多源信息分别为学生行为、面部表情和课堂答题信息,其中前两者需要完成学生人体检测。首先,设计一种多尺度注意力模块MAM进行学生位置的检测,引入多任务卷积神经网络（Multi-task convolutional neural network,MTCNN）模型完成学生人脸的检测;其次,依据检测到的学生个体和人脸,利用Open Pose骨骼关节点检测模型获取学生骨骼关节点,进而实现学生行为的识别;通过mini＿Xception＿ECA模型完成学生的表情识别;最后,通过课堂互动平台获得答题信息。（3）多模态信息融合的学习评价模型在学习评价模型的基础上,对该模型中的每个维度进行量化计算,研究多模态信息融合的权重分析方法。首先,对课堂采集到的图像信息,经过自动识别后确定学生行为、面部表情以及答题情况三个属性的阈值。其次,确定认知注意力、情感态度以及课程接受度三个维度及其对应属性的权重值。最后,通过融合策略对这三个维度的信息融合计算出学习评价得分,为学习评价提供客观依据。本论文旨在通过采用机器学习算法自动对学生行为和人脸进行检测和识别,研究学生课堂行为状态以及面部表情的划分,以及通过课堂互动平台得到学生的答题数据信息,对这些数据进行融合、分析,最终计算得到学生的学习评价结果。