近年来,随着各种传播媒体形式的不断丰富,通过运用来自多种模态的特征进行问答的方式越来越多地受到了关注。但是,针对图像、视频以及文本的问答场景,如何能更好地理解它们所组成的多模态内容是一项具有挑战性研究任务,因为多模态视觉的内容与多模态自然语言之间存在着完全不同的统计、语义特征,例如相似内容之间的连贯性,不同内容之间的相关性等,尤其是在视频问答任务中,数据处理的难度以及模态之间的噪声大幅增加,视频内容和文字的理解给研究人员带来了更大的挑战。针对此类任务,本文的主要研究内容如下:1.本文的研究重点是针对多模态视频问答任务,设计一种新的模型方法,从而更好地理解视频故事有关的问答,为了便于后续的研究,首先对视觉问答以及深度神经网络的一些相关知识进行了介绍。2.为了高效地解决视频问答中多个模态的融合问题,即获得一个准确率较高,复杂度较低的模型。本文首先针对一种用于解决文本问答的记忆网络进行了研究,同时基于对抗网络的思想以及自注意力机制对其进行改进,设计了一种称为对抗性多模态网络（AMN）的方法。在AMN框架中,本文可以为视频片段和对应的文本（例如电影字幕和所设计的问题）找到一个更连贯的子空间,从而学习更好的多模态特征表示。同时,为了在学习的多模态表征中保留视频片段的视觉特征之间的自相关性,本文提出了一种自注意力机制来达到不同模态的一致性约束,该机制可以使融合后的多模态特征在时序关系上保持一致性,并做了大量的实验来探索不同一致性约束方法对多模态理解的影响。本文在视频问答基准数据集Movie QA上进行了广泛实验,结果表明本文提出的AMN网络优于其他已发布的最新方法。据本文所知,这是为多模态视频问答引入生成对抗式框架的第一项工作。3.为了在解决视频问答中多模态融合问题的同时,使模型对于上下文间隔较短的故事情节也有很好的效果,即对于更关注细节的问题也有较高的准确性。本文首先针对常用于视频分类任务中的双流网络进行了研究,将AMN网络的对抗学习模块置于双流网络当中,并且基于多路卷积融合的方法对骨干网络进行了优化,同时本文在规模较大的电视问答数据集TVQA上进行了一系列的实验,结果表明本文提出的方法有比较好的表现。4.为了探索在本文提出的AMN方法中,视觉特征和文本特征在时序上的相关性,本文使用PCA和t-SNE等数据降维的技术对模态特征分布图进行分析,同时使用混淆矩阵等数据可视化方法来探究AMN网络中多模态特征的融合效果。