在线学习作为“互联网+教育”的产物,具有不受学习地点限制等优势,已经成为主流的学习方式之一。由于在在线学习环境中,教师与学生之间在空间上处于分离状态,使得教师无法准确地了解学生在学习过程中产生的情感。虽然基于深度学习的情感计算为自动分析人们的情感状态提供了技术支持,但是目前对于学生情感状态的识别大多基于单个模态实现,容易出现识别不稳定等问题。基于此背景,本文采用面部表情识别和文本情感分析技术,将图像和文本两个模态进行融合实现学习情感状态的识别,帮助教师与学生之间进行及时的情感沟通以提高学生的学习效率。本文的研究内容主要包括以下三方面:（1）提出了一种基于金字塔卷积及全局注意力网络的表情识别模型,解决了面部表情的多尺度特征提取问题,并根据贡献程度为设定的输入关键帧进行排序。首先将视频片段的多张图像帧作为模型的输入,通过金字塔卷积模块进行多尺度特征提取,再将提取到的特征图输入到全局注意力模块,给每一张图像帧对应的特征图分配权重,促使模型关注含有重要信息的特征图,然后将特征图进行加权求和,可以得到新的含有注意力信息的全局特征表示,最终通过分类器进行表情的识别,在实验中得到了82.12%的准确率,优于其他方法。（2）提出了融合拼音特征的BERT-BiGRU文本情感分析模型,解决了文本情感分析过程中文本特征向量空间稀疏问题,优化了特征提取与表示方法。首先将文本数据按字划分输送到BERT进行初步的特征提取,同时将相应文本的拼音输入到Word2vec进行词向量训练,然后与BERT的输出向量进行拼接得到了融合拼音的特征向量,将该向量送入BiGRU学习更多的上下文信息。该方法能够缓解文本底层特征和深度特征间的语义鸿沟,将文本情感分类的准确率提升至87.46%。（3）提出了自适应加权决策多模态融合的方法,解决了图像和文本两种模态有效融合问题。在分别得到图像和文本两种模态的情感极性分类结果后,通过香农熵计算两种模态分类结果的可信程度,自适应引入不同的决策权重,将两种模态的分类结果进行加权求和,得到最终的分类结果,建立基于图像和文本两个模态融合的情感识别模型。利用两种模态取长补短,得到的情感分类准确率为90.48%,优于多种决策融合规则,并与单模态分类结果相比有较大提升。