随着互联网和多媒体等高新技术的不断发展,融合视觉语言的多模态数据逐渐成为主流的信息传播媒体,与人们的现实生活息息相关。目前,针对单一模态的研究,如计算机视觉、自然语言处理等领域已取得了巨大的研究进展。如何更进一步,进行视觉和语言之间的跨模态语义理解和推理,减少模态之间的语义鸿沟,成为了一个热点问题。而视觉问答作为一个典型跨模态任务,自提出起便受到了广泛的关注。视觉问答旨在根据视觉媒体（图像/视频）以及与视觉内容相关的自然语言问题,预测问题的正确答案。这需要视觉问答系统1)对各个模态之中的语义信息进行有效的挖掘;2)建立各模态之间的准确关联和对齐;3)高效地融合模态信息和答案推理。针对这三个关键问题,本文从多模态语义理解的层面出发,首先提出了一种从单词到区域的注意力机制,用以获取视觉和文本模态之中与回答问题相关的语义信息。其次,设计了一种具有级联结构的问答模型,针对预测答案中潜在的语义信息进行有效挖掘和利用。之后,从跨模态关联的角度出发,深入研究问题文本和视觉目标之间的多模态关系信息。最后,充分考虑视频中多种不同层次的视觉语义信息以及文本语义信息,促进不同模态之间信息的有效融合。具体而言,本学位论文的主要研究成果包括以下几点:（1）本论文提出了一种从单词到区域的注意力网络,用以充分挖掘视觉图像与问题文中的语义信息。该方法使用更具表达能力和符合自然情况的目标区域特征作为图像表征,同时采用两种注意力网络关注问题中的关键单词和与之对应的图像目标区域,促进模型更好地理解问题文本与图像中的语义信息。实验结果表明所提方法能聚焦各模态之中重要的语义信息并取得了性能的提升。（2）本论文提出了一种级联的问答模型,将传统的单阶段视觉问答模型扩展为两阶段的结构,从而充分利用嵌入在问题答案中被现有模型忽略的语义信息。该方法首先利用一个带有协同注意力的问答模型生成问题的候选答案,然后利用另一个问答模型融合问题、答案和图像三者信息,从而预测问题的最终答案。在多个公开数据集上的实验表明所提级联问答模型能够生成高质量的候选答案并在整体性能上优于传统的单阶段模型。（3）本论文提出了一种多模态关系注意力网络,用以对问题文本和视觉目标之间的关系信息进行建模并进行有效的关联,在获取问题单词之间潜在的语义关系的同时也能精确提取视觉目标之间的空间语义关系信息。此外,该方法能够有效地结合视觉图像中的表观特征和关系特征,从而获取更好的视觉表征。在公开数据集上的实验表明所提多模态关系注意力网络能够更好地获取多种关系信息,并在整体性能上优于现有基于关系编码的方法。（4）本论文提出了一种递进的图注意力网络以回答针对视频内容所提出的问题。该方法旨在解决现有方法只能获取单一模态之间的关系,从而不能准确表示视频中复杂场景的缺点,其包含三个用于获取不同层次视觉关系的图网络,并用一种递进的方式进行连接,能够促进视频中多种视觉语义的获取以及与文本语义的融合。此外,本论文也首次发现,在一个经典的视频问答数据集TGIF-QA中存在严重的答案偏差,为解决该问题,本文在TGIF-QA的基础上重构了一个更为平衡的数据集。最后,本文简要总结了以上研究内容,对视觉问答的未来和可继续深入研究的方向进行展望,并为之后的研究者提供了新的思路。