视觉问答任务要求模型能够理解输入的图像和文本问题内容,然后给出相应的答案。相比只需要处理单一模态信息的纯文本问答任务,视觉问答要对视觉模态和文本模态的信息进行多模态信息融合处理,这样的任务更符合人类面对问题的真实场景,更接近具有推理能力的人工智能形态,存在较高的研究价值以及在医疗辅助、安防、幼儿教育等领域有着广阔的应用场景。目前,视觉问答任务面临着以下问题与挑战:在模型面对来自图像和文本语言两个不同模态信息的输入时,如何高效的处理多模态信息并得到准确的视觉图像特征表示、自然语言文本特征表示或者是图像文本特征联合表示存在着挑战;模型如何提取高维的图像特征和文本特征以及实现图像文本语义对齐;模型如何根据文本问题来提取图像中相应的物体属性或物体关系特征并进行推理,这些问题都阻碍着视觉问答任务的进一步发展。针对以上问题,本文通过模拟人类在面对现实场景问题时的感知、认知推理过程对视觉问答模型提出了改进方案。主要研究内容如下:（1）本文通过数据集中的标注数据并且提取数据集图像中的物体、属性以及物体关系构建了一个图像关联知识图谱,并结合Word Net中不同的语义相似度计算方法设计了上述知识图谱中的实体关系权重。提出了基于知识图谱特征嵌入及注意力增强的视觉问答框架,将知识图谱中的图像场景结构化知识特征与文本问题特征以及图像特征相结合,在一定程度上解决了图像文本语义对齐问题。（2）本文提出了一种基于跨模态预训练与知识图谱特征对齐的视觉问答框架,通过引入Transformer结构编码图像模态与文本模态信息,以及设计了知识图谱实体预测、关系预测、属性预测、图像ROI区域掩码类别预测、图像文本匹配判断等多个预训练任务让模型学习图像、文本、知识图谱联合特征,有效解决了多模态特征融合和更细粒度的图像文本语义特征提取问题。实验结果表明,在视觉问答模型中加入含有图像场景信息的知识图谱特征能有效的辅助视觉问答任务性能提升。