近年来多模态人机交互成为自然语言处理和计算机视觉领域的研究热点之一。本文主要聚焦于视觉（图像）印证下的语言理解与生成研究。考虑到人机交互的典型场景,智能人机交互系统应具备三种基本能力:回答问题、向用户提问、向用户讲述事件情节。因此,本文相应地关注以下任务:视觉问答、问题生成、视觉问题生成、故事结尾生成和图像引导的故事结尾生成。针对多模态文本生成过程中存在的对图文中的结构信息捕捉不够深入等问题,本文提出利用图卷积神经网络捕捉图像中的关系和文本中的句法依存关系等结构化信息的方法。本文的贡献总结如下:1.视觉问答旨在回答关于给定图像的自然语言问题。现有的基于图的方法只关注图像中对象之间的关系,而忽略了问题中单词之间语法依赖关系。为了同时捕捉图像中物体之间的关系和问题中单词之间的句法依赖关系,本文提出了一种新的双通道图卷积网络,以便更好地结合视觉和文本优势。2.现有问题生成模型存在两个主要缺陷:一是没有同时捕捉隐藏在上下文中的序列信息和结构信息,生成的问题质量较差。二是许多生成的问题不能由给定的上下文回答,即可回答性差。为了解决这些问题,本文提出了一种具有上下文结构信息和序列信息捕捉的实体引导问题生成模型,使用图卷积网络和双向长短时记忆网络同时捕捉上下文的结构信息和序列信息。另外,为了提高生成的问题的可答性,本文采用实体引导的方法从答案中获取问题类型,并对答案和问题类型进行共同编码。3.视觉问题生成的目的是生成一个关于给定图像的问题。以往工作主要集中在浅层图像语义信息上,忽略了给定图像所蕴含的高层语义信息,如关系、事件等。要生成更具体、语义丰富的问题,模型需要准确定位目标对象,捕捉被提问对象与周围其他对象的关系。为了提高视觉问题生成的质量,本文提出了一个基于图卷积和答案与问题类型联合编码的模型来生成问题。4.故事结尾生成的目的是为给定的故事背景创造一个合理且连贯的结尾。该任务的关键挑战是充分理解上下文,并有效捕获上下文中隐藏的逻辑信息,目前大多数生成模型没有深入地探索。为了解决这一问题,提高故事结尾句的质量,本文提出了一种上下文感知的多层图卷积-依赖解析树来更有效地捕捉依赖关系和上下文线索,利用依赖解析树隐式捕捉上下文中的关系和事件,并利用多层图卷积来更新和传递跨层表示,以获得更丰富的上下文信息。5.为了让生成的结尾句语义更加丰富、且具有一定目的性,本文提出了图像引导的故事结尾生成任务。给定一个多句话的故事情节和与结尾相关的图像,该任务力求产生符合上下文语境逻辑和相关视觉概念的故事结尾。与产生开放式结尾的故事结尾生成任务不同,图像引导的故事结尾生成的主要挑战是充分理解给定的上下文和图像,并从图像中选择挖掘适当的语义,使生成的故事结尾信息丰富、合理、连贯。针对这一挑战,本文提出了一种基于多层图卷积和级联长短时记忆网络模型。综上所述,本文聚焦于多模态人机交互中提问、回答、讲述等常见任务,利用图卷积网络强大的邻近节点聚合能力,对文本句法依存树和图像关系图进行聚合操作。通过深入挖掘文本中句子内和句子间的依赖关系以及图像中物体之间的关系,模型能够更加充分地理解输入的文本和图像信息,更加精确地进行跨模态匹配与融合,从而提升生成的质量。研究揭示了在多模态人机交互研究中,文本中句子内和句子间的依赖关系等结构化信息,有利于深入理解文本;说明了将符号表示注入神经网络,有利于文本生成质量的提升;图卷积作用于文本与图像中的结构信息,有利于促进语言和视觉模态间的对齐与融合,为多模态人机交互语言理解与生成相关研究提供了一种可行的途径。