随着科技的进步与发展,人们的生活节奏越来越快,许多人心理出现了亚健康状态,每年因为抑郁而自杀的人也逐渐变多。目前许多学校已经开始重视学生的心理健康问题,但学生数量远远大于心理咨询老师数量,校外心理辅导机构大多价格昂贵且鱼龙混杂,很难对学生进行及时有效的心理疏导。随着社交媒体的发展与大数据时代的到来,关于情感分析的研究使得私人情感疏导程序的实现变为可能。如果能及时识别用户的情绪,那么就可以在情绪超过临界值时向外界寻求帮助,避免悲剧的发生。按照情感的分类,情感分析的研究类型主要分为离散型和维度型。离散型将情绪分为两个（褒贬）或多个（高兴、愤怒、悲伤等）类别,维度型按情感的极性与强度构建一个空间,每个点都代表一种情感。常见的情感分析研究方法有基于词典规则的方法、基于机器学习的方法与基于深度学习的方法。基于词典规则的方法首先构建一个情感词典,对情感词典中的词语进行情感分类,将要判断的语句与情感词典中的词进行匹配,按照设计好的规则来判断最终的情感分类;基于机器学习的方法需要手工提取语料的特征值,按照提取到的特征使用机器学习算法对语料分类;基于深度学习的方法可以设计多层网络对语料进行情感分类,避免了繁琐的特征工程。文本的情感分析大多使用离散型情感分析方法,其中中文文本本需要将文档拆分成为一系列的词汇,即分词操作。由于开放域对话系统中的短文本属于口语化表达,在分词后还需要对文本进行停用词过滤。之后提取词向量特征作为深度学习模型的输入,最后进行情感分类。语音的情感分析任务在采集语音信号后进行采样量化以便计算机处理,为增强语音信号中的高频部分,通常使预加重技术来增强信号,然后对其进行分帧和加窗处理,避免出现吉布斯现象。之后提取语音的韵律学特征、谱特征或音质特征作为情感特征,最后用分类器进行情感分类。由于人类语言与情感的复杂性,单纯的文本或语音等单模态信息无法准确判断用户真实情绪,于是越来越多的学者对多模态情感识别技术展开研究。由于近年来深度学习相关研究的兴起,多模态识别算法的研究工作也得到了极大的进展。本文对文本-语音的双模态情感分析方式展开研究,分别优化了基于深度学习的文本情感分析模型与基于深度学习的语音情感分析模型,在基于深度学习的文本情感分析部分使用了卷积神经网络与双向长短时记忆网络的联合模型,在使用注意力机制来提高模型性能后又添加一层注意力机制,通过实验对比单个深度学习网络与未添加注意力机制的深度学习网络后验证了两阶注意力的CNN-Bi LSTM网络能够更好地实现情感分类。在基于深度学习的语音情感分析部分同样对比了各组合模型与添加注意力机制后的模型性能,考虑到语音情感特征维度过高、训练时间过长的特点,在长短时记忆网络与双向长短时记忆网络上分别添加注意力机制来降低维度。优化后的模型性能与组合模型相差不多,且训练时间大大缩短。之后搭建双模态情感分析模型,考虑到表达方式对于主客观不同类别语料的影响,本文在语音-文本双模态情感识别模型上加入主客观文本分类机制,通过对数据集中的文本语料进行主客观分类操作来确定两种模态的分类结果在决策层进行模态融合时的权重参数。实验数据证明添加主客观分类机制的双模态组合模型在CASIA数据集和IEMOCAP数据集上的识别精度高于未添加主客观分类机制的双模态组合模型。