视觉关系检测的目的是找出一幅图像中的多个物体两两之间的视觉关系,生成一个形如<物体1,连接词,物体2>的描述图片的三元词组,并将物体定位,给出其检测框的位置。视觉关系检测可以帮助人们实现对图像更高层次信息的理解。根据视觉关系检测任务的特点,本文分别提出了基于卷积神经网络、循环神经网络和多特征融合的算法。具体内容如下:1.普通的视觉关系检测算法往往以整体三元词组为标签。但是,这类算法往往存在单个三元词组对应的样本量不足、网络泛化性能差,不能实现迁移学习等种种问题。因此,本文提出一种针对视觉关系检测的卷积神经网络,将三元词组进行拆解,训练多分支的卷积神经网络,分层次地解决视觉关系检测问题。实验证明,基于卷积神经网络的模型较传统算法能提高准确率。2.提出了基于循环卷积网络模型的算法。卷积神经网络模型虽然能提高识别准确率,但该算法往往忽略了三元词组中各个元素的内在联系。因此,本文针对视觉关系检测任务优化循环神经网络算法,利用改进的双向循环神经网络生成三元词组。此外,还提出一种以对为单位的非极大值抑制方法,加快模型训练速度。实验证明,基于循环神经网络的算法能够大幅提高检测效果。3.利用多特征融合优化模型在视觉关系任务上的表现。把空间特征、图像特征、类别特征三者融合,用新的多特征向量代替原本的图像特征向量输入到最终的双向循环网络模型中。在实验部分对比多种特征的检测效果,证明多特征融合方法的有效性。