面对现实生活中爆发式增长的图像数据,基于计算机视觉的图像分析备受人工智能等领域学者的广泛关注。其中,图像视觉关系理解是图像分析的重要分支,旨在挖掘图像内容中所蕴含的视觉关系,是诸多实际应用,比如服装推荐、智能机器人、自动驾驶等,所需的基础技术之一。对视觉关系理解有需求的图像是多样的,根据图像所包含物体的个数,可将图像大致分为两类:简单图像和复杂图像。简单图像往往包含单个物体,且其背景较为干净;复杂图像则通常包含多个物体,且其背景较为庞杂。由于不同种类图像所包含信息的不同,针对其的视觉关系理解需求也有所不同。具体而言,针对简单图像,我们往往侧重于对图像间视觉关系的理解（例如,服装搭配领域的图像间兼容关系理解）。而针对复杂图像,我们则需要更多地关注图像内的视觉关系分析,对图像所含物体之间的空间关系和语义关系进行理解（例如,自动驾驶应用中对图像内物体间的空间关系的理解）。因此,对于不同复杂程度的图像,需要针对性地从不同角度对图像视觉关系进行分析,以适应具体的实际需求。为此,本文系统全面地从图像间和图像内两个角度,依托图像间兼容关系建模和图像内场景图生成两个实际应用,对视觉关系理解任务进行了深入的研究。虽然现有工作在这两个实际应用任务上已经取得了一定的进展,但是这些工作还存在一定的不足。具体而言,现有图像间兼容关系建模的相关工作过度依赖标记数据、缺乏对领域知识的利用,可解释性较差、难以满足用户的实际需求;而现有图像内场景图生成的相关工作对相似关系谓词区分能力差、且头部关系谓词过度去偏,无法准确生成具有信息量和实际应用价值的场景图。为了解决上述问题,本文分别开展了如下四个方面的研究工作:1)基于知识增强的图像间视觉关系理解探究了概率形式的领域知识对深度神经网络的指导作用,设计了一种概率知识蒸馏的服装图像间兼容关系建模模型。该模型能够自动提取并结构化大量的领域知识,根据共现概率为不同领域知识分配不同的置信度,并通过知识蒸馏框架实现领域知识对深度神经网络的指导和增强。该模型一定程度上降低了神经网络对数据的依赖,而且提升了服装图像间兼容关系建模的性能。此外,本文探究了不同来源领域知识对深度神经网络的指导作用的区别。2)基于模板引导的可解释图像间视觉关系理解探索了通过挖掘潜在属性模板增强模型可解释性的新思路,设计了一种基于模板引导的可解释服装图像间兼容关系建模模型。该模型首先利用属性分类器得到了服装图像维度级可解释的语义属性表示,然后利用非负矩阵分解挖掘属性交互模板,进而实现了对服装图像间兼容关系建模结果的解释以及提供可替换的服装方案。该模型通过贝叶斯个性化排序算法巧妙地将服装图像间兼容关系建模和属性兼容关系模板的分解联合,使二者互相促进。3)基于分而治之的图像内视觉关系理解提出了利用关系谓词的相关性简化关系谓词预测任务的策略,设计了一种基于分而治之的图像内场景图生成模型。该模型通过模式-谓词相关性挖掘算法揭示了关系谓词之间的相似关系,将关系谓词预测划分为多个子任务。该模型利用多个特定关系谓词预测器区分相似关系谓词的细微差别,利用贝叶斯个性化排序算法促进头部和尾部相似关系谓词之间的两两区分,从而提高模型对相似关系谓词的区分能力。4)基于双偏互补的图像内视觉关系理解研究了利用互补思想统一有偏和无偏两类场景图生成模式优势的策略,设计了一种基于双偏互补的图像内场景图生成模型。该模型设计了一种面向头部的软正则化方法,利用有偏图关系谓词预测中头部关系谓词预测优势,去弥补无偏关系谓词预测中头部关系谓词预测的不足,解决无偏图像内场景图生成方法中头部关系谓词过度去偏的问题,以实现头部和尾部关系谓词之间的预测平衡。