得益于方法和模型的进步、计算能力的增强以及标准开放数据集的不断完善等,机器学习尤其是计算机视觉日益成为计算机科学方向最重要以及最受关注的研究领域之一,如何使计算机在相关问题上达到甚至超越人类的智能水平引起了广泛的研究兴趣。人类十分擅长通过在不同事物之间建立联系来认识、理解和改造世界。本文重点研究了通过分析、建模和利用研究对象之间的结构化关系来提升机器学习模型在图像识别和图形化布局问题上的效果。我们首先研究了如何利用图像与图像之间的二元比较关系来解决小样本图片分类问题。通过对不同图片进行比较以判断两张图片是否属于同一类别有助于提升图片分类模型的准确率,尤其是当训练样本不足,深度学习模型难以从少量数据中泛化时。度量学习（Metric Learning）正是基于这样的思想被提出的,它是小样本图像分类的重要方法之一。本文研究了基于层次比较的度量学习策略,其主要目的是通过在卷积神经网络的不同层次上对图片特征对进行比较,使得深度学习模型对图片距离的度量更加可靠。为了进一步提升小样本图像分类的效果,我们还提出在特征层上添加随机的高斯噪声,以解决小样本图像分类问题中由于训练样本过少导致的过拟合问题,增强模型的鲁棒性。大量的实验结果验证了本文中所提方法的有效性,对模型的分析实验也证实了基于不同层次的度量学习结果具有异质性,能够互相协作以提升分类正确率。图像之间的对比关系有助于解决小样本图像分类问题,在此基础上,本文进一步研究了一张图像中视觉关系的识别。我们用<物体1-关联词-物体2>这种形式的三元组来表示视觉关系（Visual Relationship）,它描述了图片中的物体以及物体与物体之间的关联关系。本文首先提出利用三阶张量来表示视觉关系的标签空间,并且,不同于一般的图像识别深度神经网络中利用全连接层对提取的图像特征进行分类,本文提出张量合成层（Tensor Composition Layer）来完成从图片特征到视觉关系的分类。关系的张量表示方式和张量合成层不仅能大大降低模型的参数数目,还能够捕捉不同视觉关系类别之间的关联,有助于从整体上识别图片中的多个视觉关系。为了验证我们所提出的方法和模型的有效性,我们测试了张量合成网络（Tensor Composition Net,TCN）在视觉关系预测和基于视觉关系的图片检索任务上的性能,并与现有的多标签分类方法以及视觉关系检测方法进行了比较。实验结果显示,我们的方法对图片中视觉关系的识别更加准确,根据预测结果对图片进行检索也非常有效。本文还进一步研究了如何利用结构化关系来刻画图形对象的布局以解决图形化布局生成问题。更具体地说,我们通过树形结构来建模不同图形元素之间关系以解决学术海报的自动化布局问题。不同于很多已有的工作研究在像素级别上生成目标图片,本文主要研究利用机器学习模型辅助生成结构化的学术海报布局问题,这其中面临的主要问题是需要从整体上对各个布局元素进行规划。针对学术海报布局任务,我们首先人工收集并标注了85对学术论文和海报布局信息,并基于标注的学术海报布局数据集训练了一个贝叶斯模型来对海报中的元素属性进行预测。其次,学术海报整体上通常由若干个划分块组成,本文提出利用二叉树来建模和表示不同划分块之间的组织关系,并基于这种布局表示方法设计了一种递归的学术海报划分算法。在实验阶段,我们不仅与其它的机器学习方法进行比较,也与人工设计结果进行了对比,定量和定性的实验结果都说明了我们方法的有效性。综上所述,本文针对计算机视觉中的图像识别和学术海报布局问题,研究了如何利用不同形式的结构化关系来挖掘具体问题中研究对象之间的关联信息,探索了二元、三元以及树结构的关系建模以及将其与机器学习模型相结合以解决相应的实际问题。