近年来,随着深度学习的兴起,各种深度学习方法被运用到语音情感识别的研究中。尽管语音情感识别领域有着许多研究工作,却依然存在一些挑战,本文针对其中的三个挑战开展了一些工作。首先,语音情感的判断具有主观性,不同的人对于同一段话会有不同的解读,这个问题是天然存在的,只能以数据集的标签为标准。为了尽量拟合数据标准,本文在第三章选取了合适的卷积神经网络作为主要模型,并且通过实验比较了一些流行的深度学习模型和方法,包括一些经典的卷积神经网络模型,常用的循环神经网络和Transformer,不同的池化技术。其次,语音情感识别中的帧级训练方法会将语音样本切割成更小单位的语音帧,以帧为单位训练,这种做法给一个语音样本的所有语音帧赋予相同的情感标签,但是一个语音样本中的语音帧可能包含其它情感,比如中立情感。为了应对这个问题,本文在第四章借鉴了声音事件检测领域的多实例学习方法,将句级训练和帧级训练的两种方式结合起来,利用句级训练后得到的模型来选取合适的帧样本,进行自动标注,然后进行以帧为单位的帧级训练,该方法在三个数据集上都提升了表现。最后,目前的语音情感数据集都很小。为了在数据量匮乏的情况下尽可能的利用已有信息,本文在第五章利用了在大规模音频数据集上预训练过的模型Vggish为语音情感识别任务引入声音事件检测领域的信息,在三个数据集上都表明Vggish特征引入模型的方法可以在第四章方法的基础上再次提升准确率。本文还与其它先进方法进行了表现对比,在一个数据集上接近于最优方法,在另外两个数据集上也取得了不错的结果。本文还通过实验表明,在不同的主模型下,本文的方法都能够提升一定的准确率。