近年来,随着深度学习技术的深入研究,计算机视觉和自然语言处理领域取得了非常大的进展。在计算机视觉方面,图像分类、物体检测、动作识别、视频分类等领域在一些公开的数据集上取得了很好的性能;在自然语言处理方面,文本分类、语言模型、语音识别、机器翻译等领域也取得了不错的进展。人工智能时代的真正到来需要机器具有认知能力,具有认知能力的机器不仅仅是单一地在计算机视觉或者自然语言处理领域做到极致,它必须将二者结合起来,使得机器不但能够很好的识别图片或视频中的视觉内容,同时还要具备识别自然语言的能力。近年来,视频问答引起了人们的广泛关注,它将计算机视觉和自然语言处理联系到一起,能够根据视频的视觉内容来回答相关的问题。由于视频数据的复杂性,视频问答的相关研究还比较少,与图像问答相比,视频问答更加具有挑战性。视频问答需要探索一系列的视频帧来回答问题,而且一个视频帧中的大部分区域是与问题不相关的,这部分区域特征相当于是噪声,如何从视频帧中找到与问题相关的区域,对不相关的区域特征进行过滤,同时将视频特征与文本特征进行融合,探索视频的时序信息等都是需要解决的问题。针对这些问题,本文提出了遗忘记忆网络来解决视频问答任务。对于从视频中截取的视频帧序列,本文使用卷积神经网络来提取视频帧特征,然后使用遗忘记忆网络根据视频的相关问题,对视频帧特征进行过滤,选择出与问题相关的区域特征,遗忘掉不相关的区域特征。对于含有相关文本描述的视频片段,分别使用遗忘记忆网络对视频和文本特征进行保留和遗忘,然后再将二者进行融合,再根据融合的视频文本特征来解决视频问答。本文还在遗忘记忆网络的基础上进行了改进,在使用遗忘记忆网络得到视频或视频文本融合特征后,将它们按照视频帧的时间序列输入到一个门控循环单元中,使用最后一个时刻的输出来表示视频特征,进一步来探索视频帧的时序动态信息。本文提出的方法在MovieQA和TACoS数据集上取得了很好的效果。