人类语言通常是自然语言、肢体与面部动作、声学行为的混合,其中蕴含了大量的情感性的信息,这些信息是影响人类情感倾向与行为意图的重要因素。情感分析分别在文本、语音、图像领域取得了较好的效果,多模态情感分析作为情感分析领域一个新兴的跨学科方向,不仅可以捕获单个模态中的信息,也可以捕获模态间潜在的互信息,使得机器以一种更符合人类的方式判别情感。构建处理多模态时间序列数据的算法模型过程中存在以下普遍问题:1)多模态数据的固有采样率导致每种模态序列是非对齐的;2)跨模态元素间的上下文依赖,这些问题会影响跨模态元素的融合效果。针对以上问题本文做了以下工作:1.本文设计了一种可以同时考虑到局部的word-level级别的多模态元素对齐和跨模态元素的全局上下文依赖的跨模态注意力机制。跨模态注意力机制以端到端的方式,通过多模态数据中不同步长的模态序列间的交叉注意捕获跨模态间的隐藏信息和对齐,实现多模态特征的对齐与融合。同时对于已经强制对齐的数据,本文的模型在跨模态阶段可以同时进行三种模态的跨模态交互,在非自然表述情感情况下可以进一步提升模型效果。然后将跨模态注意力机制嵌入到Transformer网络中构建...