在认知科学领域,借助深度学习技术使得机器能够像人类一样执行某些智能行为是目前重要的研究方向,而视觉推理则是其中的一个关键技术。然而现有的视觉推理模型的输入主要基于冗余的视觉特征,考虑到图像的语义表征相比于视觉特征在推理过程中具有更加明确的结构化的高层次语义信息以及可解释性,本文的主要研究方向是在已有的视觉推理研究基础上提出利用语义网络形式的图像语义表征结合自然语言理解技术去解决视觉推理问题,主要可以分为以下几个部分:1)针对现有研究的不足,设计了一种基于语义网络的视觉推理框架,整个框架被分为语义表征提取模块和问题理解模块两个部分。语义表征提取模块是将图像中的实体检测出来,并提取每个实体的属性,最终构建出描述场景的语义网络。问题理解模块是利用循环神经网络相关技术将自然语言问句映射到向量空间或者另一种表征形式。该框架具有透明度高、能够快速响应需求变更的特性。2)在一个端到端的基线模型上分析语义表征在视觉推理任务中的性能和特性。在用未经处理的语义表征替代图像视觉特征后模型性能有了小幅提升。之后迁移了视觉风格迁移领域的Gram矩阵思想对语义表征进行重新组织,这一简单的操作使得模型在相关问题和不相关问题上均有进一步的提升,验证了语义表征在视觉推理任务中的有效性和可塑性。3)围绕视觉推理数据集CLEVR,详细论述了视觉推理框架中语义表征提取模块和问题理解模块的构建方法。在语义表征提取模块中提出了用于少样本目标检测的方法以及由残差网络和最大金字塔池化层构建的通用属性提取器。在问题理解模块中分别构建了基于问题嵌入和基于机器翻译的问题理解模块。最终本文所提出的视觉推理框架在CLEVR数据集上的测试准确率最高达到了96.14%,超过了已有基线模型和人类测试水平,和目前领先的研究结果相接近,并且具备已有模型不具备的高透明度和低耦合性。本论文借助已有的深度学习技术,给出了基于语义网络的图像信息表征和视觉推理清晰的研究思路、模型构建方法和各部分的合理组织形式,使得视觉推理的过程更加透明化,并取得了领先的研究成果。这一成果也表明了在深度学习任务中引入高层次、抽象的知识表征形式是可行且十分有效的,为将来在深度学习领域中引入不同层级的知识表征形式奠定了理论和实验基础。