论文部分内容阅读
协同显著性目标检测是计算机视觉和多媒体领域中一个重要的研究课题,已广泛应用于计算机视觉领域。协同显著性目标检测的任务是从一组相关图像中自动定位公共的显著目标或区域。协同显著性目标检测任务的主要挑战是如何利用图像内和图像间的相关信息检测出具有相同前景的区域。本文针对协同显著性目标检测任务在机器学习和深度学习领域做了探讨,用图构建学习、多图学习、图卷积神经网络、标签传播等方面技术解决协同显著性目标检测问题。第一,提出了一种关于协同显著性目标检测统一能量优化模型。所提出的模型将图像的结构信息、图像的前景背景先验、图像的线性特征集成在一起,获得鲁棒准确的图像协同显著性目标。统一能量优化模型的主要优点是它可以通过标签传播,线性投影和背景/前景先验正则化,为提取图像内和图像间的相关信息提供了一种有效的方法进行协同显著性目标检测。提出了一种有效的算法获得模型的全局最优解。实验表明,在两个广泛使用的基准数据集上,统一能量优化模型具有较好的性能。第二,针对协同显著性目标检测问题提出自适应图学习优化模型。所提出的模型除了背景和前景先验正则化、图像的结构信息和多个图像特征的线性整合,此外,还根据图像特征预测两节点之间的关系以获得自适应图学习。自适应图学习优化模型的主要优点是它可以在不同图像之间进行协同显著性信息传播和预测,同时维持每个图像的显著信息不丢失,确保不同图像之间的一致性和连通性,可以进一步探索有效的相关信息进行协同显著性目标检测。同时设计了一种有效的优化算法,针对所提出的优化模型寻求最佳解决方案。实验结果表明,在几种标准基准数据集上,自适应图学习能量优化模型具有较好的性能。第三,图卷积神经网络(GCN)通常用于计算机视觉领域和机器学习中的图数据表示。但是,现有图卷积神经网络通常使用单个图,而单个图不能适用于多图数据。本文提出了一种用于多图数据表示和学习的多图卷积神经网络(Multiple Graph Convolutional Network)。MGCN在多个图之间传播信息/知识,并通过同时集成多图信息获得一致的图节点表示和图学习。基于提出的MGCN,本文提出了一种全局-局部协同图卷积神经网络模型用于图像协同显著性目标检测任务。实验验证了全局-局部协同图卷积神经网络模型的有效性。最后,考虑到MGCN中采用固定的图结构对图节点的标注有一定的局限性。在实际学习过程中,图像的图结构可以根据所学习的节点表示进行动态改变。鉴于此,本文进一步提出了一种多图联合学习与协同卷积神经网络模型用于协同显著性目标检测。模型同时在图间和图内进行图卷积学习和节点标注,并采用新的图学习机制自适应地学习图间和图内的结构信息。在几个基准数据集上的实验结果验证了多图联合学习与协同卷积神经网络模型的有效性。