语言是人和人之间进行沟通的重要途径,因为语言不仅能够进行信息的传递,同时还具有情感的表达功能。相同的话语在不同的情感环境下,往往表达着不同的意义,世界各地的语言都是如此。因此,语音情感识别的研究作为语音识别领域的一个重要分支,具有非常大的研究价值。语音信号的处理是人工智能情感计算领域中非常基本、重要的模块之一。国内外的重要研究者针对语音情感识别任务,通常将语音信号转换成的语音特征直接处理或者是转换成语音谱图的形式进行识别。且语音情感识别在生产应用中于具备重要意义,引申出了多种应用,例如:辅助言语障碍的残疾人的机器、感受客户情感的服务机器等。本文对双语语音情感识别展开了深入的研究,提出了基于自编码器+LSTM的双语音语音情感识别模型和双线性胶囊网络的双语音情感模型,并通过这两种模型进行了相应的实验,与目前主流的语音情感识别方法进行比较得出了结论和展望。本文研究的具体内容包括:（1）提出了基于自编码器+LSTM的双语语音情感识别模型。本模型将原始的语音数据传入自编码器提取深度抽象的语音情感特征,并将深度特征经过LSTM网络进行进一步的处理,在德语EMO-DB和中文CASIA的混合语料库中取得较好的识别结果。（2）提出了基于融合特征的双线性胶囊网络的双语语音情感识别模型。本文将近几年在图像识别领域较为流行的胶囊网络应用于SER的探究,并针对双语之间的差异性,提出了梅尔频谱图和帧统计量特征图融合的方法,同时对胶囊网络改进,使用双线性卷积核进一步提取融合图的纹理特征。该模型在德语EMO-DB和中文CASIA语料库识别率取得了进一步的提高,提供了一种全新的语音图像识别的思路。针对上述两种模型,进行了大量的对比试验。实验结果表明:自编码器提取出的深度特征和梅尔频谱图与帧统计量图特征都比原本的语音特征效果更加好,同时两种模型在双语语音情感识别上取得了优秀的的识别效果,识别率较传统模型有大幅的提高。