场景图作为图像语义的一种重要表示,可增强图像描述、视觉问答等视觉模型的推理能力,相关生成算法已成为计算机视觉领域的热点研究方向之一,具有重要的研究意义和广泛的应用价值。本文以场景图为研究对象,从提升模型优化能力和引入非视觉引导信息两个方面展开研究,针对性地提出了三种场景图生成模型。本文的主要工作包括:(1)提出了一种双流注意力引导的场景图生成模型(Dual Attention guided scene graph generation Network,DANet)。针对信息传递过程存在的不平衡性,DANet利用双流注意力机制来引导节点间进行有效的信息传递,其中外部注意力决定节点间信息的权重,内部注意力则对传递的信息进行调制。在VRD数据集上与流行的场景图生成算法(F-Net)相比,所提DANet在Phr Det和SGGen任务上的R@n值分别提高了2.07%和2.06%。(2)提出了一种层级信息联合约束的场景图生成模型(Hierarchical MessageConstraint Network for Scene Graph Generation,HMCNet)。HMCNet包含三个主要模块:层级信息传递模块可在信息通路层优化物体与子图的特征;空间特征约束模块可在空间特征层引导节点特征融合;统计关系修正模块则可在决策层利用数据集的统计信息对预测结果进行修正。VRD数据集上的分离实验验证了所提各模块的有效性,同时在VRD、VG-MSDN和VG-DR-NET数据集上,与目前主流的单阶段场景图生成模型相比,所提模型均达到了当前最优水平。(3)提出了一种基于知识路由的轻量级场景图生成模型(Lite Scene Graph Generation Model Based on Knowledge-Embedded Routing,KLNet)。KLNet可以利用数据集的语义信息控制关系预测模块中节点信息的融合,同时通过增加关系预测图中节点数目来增强模型的推理能力。为了加速模型训练,所提模型还引入了注意力剪枝以减少信息传递模块的计算量。VG-IMP数据集上的实验表明,相比目前较先进的基于知识嵌入的场景图生成算法(KERN),所提模型在Pred Cls和SGCls任务上的m R@n指分别提高了2.9%和1.9%,同时训练速度可加快20%,证明了其实用性和有效性。