随着人机交互的不断发展与应用,情感识别受到了研究者的持续关注。准确地识别说话人的情感信息,有助于机器更好地理解用户的意图,进而提供良好的交互性以提升用户的体验。语音作为人类沟通交流最直接、有效的方式之一,承载着丰富的情感信息。人类在语音中通常是通过音调和重音等副语言信息和语言信息来共同表达情感。其中,副语言信息可以直接从语音信号中获取,具体通过声学特征来体现,而语言信息通过语音转写后的文本内容体现。传统语音情感识别的研究主要依赖副语言信息,早期大多使用人工定义、手动提取的启发式特征（基频F0、能量等）,但存在特征种类受限等问题。近年来,利用深度学习基于时频特征自动学习综合表征的方法被广泛应用。然而关于融合基于感性知识的启发式特征去进一步提高统计学习特征的情感表征尚未充分研究;声学特征的完备描述是振幅信息和相位信息共同承担的,传统的情感识别只关注振幅信息忽视相位信息势必缺失部分信息,如何准确抽取相位特征并将其应用于情感识别有待进一步厘清;语言信息传递的情感信息对情感识别至关重要,如何有效地将语言信息和副语言信息融入语音情感识别也是一个具有挑战性的难题。本文针对上述三个问题,从副语言信息层面的表征学习到融合语言信息和副语言信息的互补性建模,逐步深入地研究如何有效融合不同层次的情感表征,从而提升情感识别的性能。本文主要贡献如下:（1）在副语言信息层面,研究传统基于人类感性知识的启发式特征对基于时频特征自动学习情感表征的作用,提出一种融合启发式特征和振幅时频特征的语音情感识别方法。该方法将人类语音情感识别的感性知识融入到情感综合表征中,利用基于感性知识的启发式特征去引导综合表征的学习过程,既保证提取特征的丰富性,又突出F0等关键声学特征的作用,从而提高情感语音的区分度。在EmoDB和IEMOCAP上的相关实验,验证了所提取的知识互补的综合情感表征具有更高的情感判别能力。（2）从信号时频特征的完整性出发,探究情感语音中相位特征的准确抽取和有效使用。首先,分析语音情感在相位谱上的体现,进而通过定量分析表明相位中包含可以用于区分情感的信息。然后,提出一种动态相对相位特征抽取方法,解决原始相对相位难以确定基础频率的问题,进一步缓解相位对于帧裁剪位置的依赖。最后,构建单通道和多通道模型,将相位和振幅信息进行有效融合。通过引入相位信息,捕捉到较为完整的声学特征,从而丰富副语言层面情感语音的表征。实验结果证明了提出的相位特征抽取方法的有效性,以及相位和振幅信息之间在识别语音情感的时候存在互补性。（3）研究情感语音中语言信息和副语言信息的互补性建模。人类说话时中性文本可以通过副语言信息来赋予情感,此时利用声学特征识别情感的优势要大于文本,相反则是文本更有优势。基于此,本文提出基于声学特征和文本信息隐式对齐的多模态Transformer融合模型。该模型使两个模态在学习情感表征的时候能够互为向导、相互补充,并且采用加权融合的方式来控制副语言信息和语言信息的贡献度,从而学习到更加互补的情感表征。实验结果表明,所提的模型在利用语言信息难以表示情感的时候,可以通过副语言信息进行补充;同时副语言信息难以表示的情感类别可以利用语言信息实现。综上,本文首先提出融合启发式特征和振幅时频特征的语音情感识别方法以捕获知识互补的情感综合表征。然后,探究相位特征的准确抽取方法以获取完整的声学特征,进一步有效地体现副语言信息的情感表征。在此基础上,对情感语音中语言信息和副语言信息进行互补性建模,学习到两种模态信息相互补充的情感表征,提升情感识别的能力。这三个方法从不同的侧面探索语音情感,逐步深入地展开对情感相关表征的挖掘,为情感识别相关研究提供了重要的特征参考,具有较高的理论研究和实际应用的价值。