场景图生成任务是指从图像中检测目标类别和推理目标间关系,并利用图结构来简洁且结构化地描述图像。它是沟通自然语言与计算机视觉的桥梁,近年来成为图像理解领域的热门研究方向。深度学习也已成为图像理解的有力工具。然而现有的场景图生成方法仍然存在两个问题。问题一是现有的场景图生成方法推理得到的关系多样性较差。一方面,特征不完善会导致关系多样性受限。现有方法单纯利用视觉特征进行类别推理,相似关系之间的差异性较小,会限制关系的多样性。另一方面,数据集长尾分布会导致关系多样性受限。数据集中常见三元组的样本量占据数据集的大部分,而许多不常见的关系样本量却很少。现有方法将所有相似的关系都预测为常见关系来提高召回率,会伤害关系的多样性。问题二是现有的场景图生成方法的领域适应性较差。现有方法都是基于特定的自然图像数据集提出的,其网络中包含着数据集独有的推理习惯,这个推理习惯限制了网络的迁移能力,导致方法的领域适应性较差。针对第一个关系多样性差的问题,本文提出了一个基于全局-语义信息辅助的场景图生成方法,称为SGG＿G-SIA。首先,SGG＿G-SIA提出将数据集提供的全局统计知识和语义信息整合为全局语义编码,并将其与视觉特征融合来丰富目标和关系的表示,从而解决特征不完善导致的关系多样性受限的问题。其次,SGG＿G-SIA利用重处理后的全局统计知识辅助目标和关系类别推理,用其加权上下文信息,指导信息的传递,在缓解网络对训练集的过拟合的前提下解决数据集长尾分布导致的关系多样性受限的问题。最后,SGG＿G-SIA设计不同的网络分别对目标和关系进行特征融合和类别推理,满足不同信息的聚合需求,使模块更具有针对性。针对第二个网络领域适应性差的问题,本文提出了一个基于多模融合和反事实推理的场景图生成方法,称为SGG＿MFCR。SGG＿MFCR将视觉和语言两个模态的信息融合成为关系的预测特征,为关系的表示提供更丰富的信息。之后,SGG＿MFCR采取了反事实推理的策略来归纳数据集独有的推理习惯,并在测试时显式地消除这个推理习惯,从而得到一个能够公平预测常见关系和不常见关系,并且具有良好领域适应能力的场景图生成网络。在现有数据集上训练得到的SGG＿MFCR网络能够在不依赖计算机生成图像集标注和二次训练的基础上直接应用于计算机生成图像。本文分别从图像描述和语义布局这两个模态出发,生成计算机生成图像集,并将SGG＿MFCR应用于该图像集,验证该网络的领域适应能力,同时生成鲁棒的场景图,辅助人们对计算机生成图像进行理解。本文对前述所提出的方法进行了实验验证,结果表明本文提出的两个方法能够生成更加鲁棒的场景图来描述图像。相较于现有的场景图生成方法,SGG＿G-SIA在目标和关系的特征丰富度与推理得到的关系多样性上都有明显提升,SGG＿MFCR无论是目标和关系的特征丰富度,还是网络推理得到的关系多样性,抑或是领域适应性,都有明显的提升。综上所述,本文提出的场景图生成方法在多方面优于现有的场景图生成方法。本文部分成果已经发表为SCI期刊论文。