视频问答任务（Video Question Answering,Video QA）旨在根据视频和基于视频的自然语言问题推断出正确答案,因此视频问答是解决从海量数据中提取需要视频内容的重要方式之一,是理解精细化视频内容的研究之一,同时也是研究跨模态信息（视频、音频以及文本）融合与推理的关键任务之一。视频是由多帧静态图像组成的动态视觉内容,相邻视频帧之间的整体内容变化往往比较微弱,因此相邻帧中的对象往往也会重复存在。部分对视频问答任务推理无效的内容（冗余帧、重复对象、无关的背景信息）也广泛存在于视频中,同时文本中也会存在对引导视觉线索无效的词或短语。在跨模态融合与推理答案时,这些大量且冗余的信息会给寻找答案线索带来干扰。因此如何从文本信息和视觉信息中提炼出回答问题所需要关键的内容,去除冗余是极为重要的。一种可行的思路是分别对视觉和文本的上下文信息进行聚合与筛选,以获取回答问题的关键表征,随后利用聚合后文本表征和视觉表征进行跨模态推理与融合。基于以上的思路,本文提出了以下两种方法来处理视频问答任务,方法的概要描述如下:（1）在第三章中,本文提出了一种端对端可训练的,基于注意差异优化机制与多模态推理的视频问答网络ADOMR-Net（Attention Difference Optimization with Multi-modal Reasoning Network）。首先,软注意机制在解决冗余信息的问题上是有效的,注意力机制有助于寻找到视觉中的关键信息（对象,视频帧,视频片段）和文本中的关键信息（词,短语）。由于视频内容较长,自注意力机制在使模型的消耗的内存和算力成本随着输入大小呈二次方增长。在本文中,提出了一种新的注意差异优化模块。注意差异优化模块在寻找关键信息的同时上也降低计算量,为了增强模态间信息的差异性,利用了自注意的多头策略。考虑到文本词数量比视频片段数量多,本文引入差异化查询注意损失DQA Loss（Distinct Query Attention Loss）通过将权重分布到特征的不同元素上以丰富特征表达的多样性。其次,本文利用多模态因子分解双线性池化方法解决问题引导视觉推理的过程。在多个数据集上的实验结果表明,本研究可以有效提高视频问答的信息聚合与答案推理的准确率。（2）本文第四章在第三章的基础上,利用聚合的思想提出了一种端到端可训练,基于RVLAD（Residual-less Vector of Local Aggregated Descriptors）语义聚合模块和Transformer跨模态语义交互模块的视频问答方法TVLAD-Net（Transformed RVLAD Network）。本文提出的RVLAD语义聚合模块有助于在视频或文本中寻找关键信息,去除其中的冗余信息。利用Transformer交互模块相互引导来自视觉和文本的各个模态的RVLAD聚合描述符之间的推理,以捕获与视频问答中答案推理相关的线索。与本文中ADOMR-Net中问题引导机制不同,TVLAD-Net利用更为普适的Transformer解决多个模态之间的信息交互,可以增加视觉模态内部的信息推理能力。本文TVLAD-Net在TGIF-QA,MSVD-QA和MSRVTT-QA数据集上的实验结果表明,本文方法优于现有模型,验证了TVLAD-Net提高了视频问答模型的鲁棒性和泛化能力。