随着多媒体技术和人工智能的快速发展,近几年基于深度学习和神经网络的智慧教育技术的研究与应用如火如荼。在课堂教学中,学习者的学习情绪和学习状态是衡量学习者学习效果的重要指标,对学生最终的学习质量起到了关键的作用。学生的学习情绪和状态在整个学习过程中一直存在,然而在传统教学中,由于技术的限制,精确和持续地观测学生学习的情绪和状态是难以实现的。得益于神经网络技术,我们可以对获取到的学生学习音视频信息进行持续和自动地进行识别和分析。本文研究工作主要如下:（1）采用XCeption网络识别表情情绪,同时采用基于时间分布卷积神经网络识别语音情绪,再基于决策层融合的方式设计多模态情绪识别原型系统。紧接着通过笔记本电脑采集学生的上机视频,并将采集到的视频通过系统识别获得学生情绪识别结果,实验结果表明融合后的情绪识别结果准确性比单一模态的情绪识别结果准确性高。（2）获得多模态情绪识别结果后,通过学生对学习情绪进行PAD打分,获得相应情绪的PAD值。再利用PAD情绪量表建立学习情绪与学习状态之间的对应关系,根据对应关系判断学生的学习状态。（3）进行问卷调查,分别从课堂学习和课后兴趣调查学生的学习状态。一方面,为了验证多模态情绪识别算法的有效性,获得学生上课时的真实情感;另一方面,为了调查影响学生上课状态的因素,并在此基础上改进教学。（4）经过六个周的教学应用,在情绪识别和问卷调查的基础上,提出一些教学策略,供一线教师参考和借鉴,以便于教师及时调整教学。本研究结果表明,多模态信息融合的情绪识别系统能够便于教师及时查看学生的学习情绪和学习状态。实时可视化的情绪分析折线图,可以随时洞察学生的情绪变化,大大节省了分析的时间,并提高了情绪分析的时效性和有效性。经过为期六个周的教学应用,学生的学习积极性也逐渐提高,教师管理课堂也更加便捷。