深入理解图像的语义信息是计算视觉领域发展的关键,然而在视觉任务中,高级语义信息的获得并不容易,这导致视觉场景图的生成成为一项极具挑战性的任务。视觉场景图生成能帮助本文获得更高阶的语义信息,它作为桥梁连接了物体检测和场景理解,在物体检测的基础上,对物体之间的关系进行建模识别,并使用“主语-谓词-宾语”这样的三元组结构表征物体间的有效关系,最终通过连接这些三元组构成一幅有向的视觉场景图。尽管以往的工作取得了令人印象深刻的效果,但是大多数方法都没有显式地考虑场景图生成中的类别不平衡问题和语义上的歧义性问题。由于对类不平衡问题的忽视,这些工作得到的模型倾向于预测频繁类,导致模型在频繁谓词上表现性能良好,而在非频繁谓词上的性能较差。然而这些属于少数类的谓词往往包含着更多精确地语义信息,（e.g.,’on’v.sparkedon,）。这导致了模型在Recall评价指标上表现较好,但是在Mean Recall指标上的表现则不尽如人意。除此之外,由于对语义歧义性问题的忽视,几乎所有现有的方法都以确定的方式来预测关系和生成“精确”的场景图。然而本文认为视觉上的关系往往在语义上是不明确的,即具有歧义性。具体而言,在语言学知识的启发下,本文将歧义分为同义歧义、下义歧义和多视点歧义三种类型,这种模糊性导致了隐式多标签的问题,激发了对多样性预测的需求。对“类别不平衡问题”,本文开创性地提出了“二元深度残差图卷积神经网络（dual ResGCN）”,该模型由互补的检测物体残差图卷积网络（Object ResGCN）和关系残差图卷积网络（Relation ResGCN）组成。其中检测物体残差图卷积网络用于捕获物体对象级的上下文信息,即检测物体对象之间的连接,而关系残差图卷积网络则被精心设计为显式地捕获关系级上下文信息,即物体关系之间的联系。除此之外,在本文提出的ResGCN中,本文以一种新颖的交叉注意力机制的方式增强检测物体对象特征。为了进一步缓解类不平衡问题并丰富预测的多样性,本文对多个上下文系数进行了叠加,并提出将关于关系对共现的先验概率同样纳入图中。对“语义歧义性问题”,本文进一步地提出了一个新的概率不确定性建模（PUM）模块,该模块可以即插即用式地用于各种模型,将每个预测物体之间的联合区域特征建模为高斯分布并用其方差来度量相应视觉内容的不确定性。与传统的确定性方法相比,这种不确定性建模引入了特征表示的随机性,使得预测更具有多样性。除此之外,PUM模块还成功地涵盖了更细粒度的关系,从而改善了模型倾向于预测频繁关系的问题。本文在大规模视觉基因组基准测试（Visual Genome benchmark）上对场景图生成的三个任务（场景图检测、场景图识别和关系识别）的大量实验表明,将PUM与Dual ResGCN相结合可以获得当前领域内最优的性能,在Mean Recall指标下更是取得了长足的进步。此外,通过将PUM模块即插即用式地加入到一些现有模型中,证明了它性能提高的普适性,并对它生成各种各样且可信的可视关系的能力提供了深入的分析。