随着科技的发展,人工智能越来越多的出现在人们的生活中。而视觉问答是能够应用在人类生活中典型的人工智能技术。视觉问答指的是对智能系统输入一张图片和针对该图片提出的问题,系统能够根据图片给出问题的答案。近年来,场景图生成任务的出现和视觉推理技术的进步推动着视觉问答朝着推理方向发展。基于推理的视觉问答模型不但能得出问题的回答,而且能够给出答案的推理过程,使得模型的答案有据可依。而目前应用在VQA中的场景图对于物体间关系的判断还不够准确,模型的推理过程也有待改善。因此,如何构造适合于视觉问答模型的场景图以及如何针对场景图进行推理成了研究重点。基于此,本文提出了如下两个模型:针对视觉问答场景图构造中存在物体间关系表示简单,语义内容不充分的问题,提出了基于上下文信息融合场景图的VQA模型（XNM with Context Scene Graph,XNMS）。物体间关系的判断需要参考周围节点的信息,向图像中的物体特征融入上下文信息,能够丰富场景图的语义表示,进而能够更加全面和准确地识别出物体之间的关系。场景图正确的关系表示能够提高视觉问答模型的推理能力。考虑到以上问题,该模型首先获取到物体自下而上的视觉特征,然后通过双向的LSTM网络来对物体融合上下文节点的信息。在VQA v2.0数据集上进行了实验,通过与基础模型XNM的准确率作对比,证明了该模型的有效性。本文采取了将问题解析成函数模块组合的方式来处理视觉问答中的问题模态,这样能够达到推理的目的。在选择模块之前,需要先对问题特征进行提取。本文提出了基于自注意力问题特征提取的VQA模型（XNM with Self-Attention,XNMA）。考虑到模型对于模块函数的选取受关键字影响的特点,该算法在提取问题特征时加入自注意力模块,来增强句子中对选取函数模块重要的词的表示,从而提高问题处理的性能,提高模型的可解释性。在VQA v2.0数据集上进行了实验,通过与基础模型XNM的准确率作对比,证明了该模型的有效性。除此之外,本文还提出了XNMA+（XNM with Self-Attention+,XNMA+）模型,即加入了上下文信息融合模块和自注意力的问题特征提取模块的模型,通过消融实验,证明了两个模块对于基础模型准确率提升的有效性。