随着互联网科技的光速发展,网络信息变得越来越包罗万象、数量庞大。面对如此庞大的网络数据,如何准确的发现有用信息便成为互联网发展的一项重要任务。问答系统的出现满足了用户想要快速获取目标信息的需求,问答系统无需过多选择,可以直接提供目标答案。问答系统的目标是根据用户输入的问题,快速返回简单准确的答案。视觉问答系统(VQA)是问答系统的一种形式,能够参考提供的图片内容回答用户提出的问题。目前,视觉问答系统被看做是一个分类任务,常用做法是根据已知的图片和问题抽取图片和问题特征,然后融合图片特征和问题特征以做多分类,但是准确度有待提高,模型性能有待改善。另外,对于需要常识的问题,如今的视觉问答系统很难处理。针对这些问题,本课题分别提出了基于两步联合注意力机制的视觉问答系统和基于知识表示的视觉问答系统。基于两步联合注意力机制的视觉问答系统将两步联合注意力模型引入到视觉问答系统中,分别采用卷积神经网络和长短期记忆网络忽略掉图片和问题中的干扰信息,从粗粒度到细粒度的的获取图片和问题中与答案有关的信息,实现了准确度的提高,改善了模型性能。基于知识表示的视觉问答系统将知识库引入到了视觉问答系统中,创新性的提出基于卷积神经网络从图片中获取实体表示的思想,针对需要常识才能回答的问题,取得了有效的实验效果。针对提出的视觉问答系统,本课题设计并实现了的移动端APP来展示,能够直观体验感受系统的性能。