论文部分内容阅读
图像协同显著性检测是一种从多幅相关图像中提取共同出现的相同或相似的显著性目标的方法,已经成为了计算机视觉方面非常热门的研究课题。协同显著性检测的难点在于如何区分图片组中的前景和背景,并突出前景目标;以及如何通过对同组图片间的一致性关系进行建模,并利用群组语义信息来提升协同显著性检测的性能。本文针对以上问题做了如下研究。针对目前协同显著性检测方法中存在的语义类别相差悬殊的物体被误检测为协同对象等问题,本文提出了基于卷积神经网络和语义相关的协同显著性检测算法CSCCD(CNN and Semantic Correlation based Co-saliency Detection)。首先,采用引导超像素滤波方法对SLIC分割出的超像素区域和DSS模型的显著性区域进行处理,清晰地显示了目标边界轮廓。然后,使用Mask R-CNN提取出语义特征,对图像语义特征和语义一致性进行定义,提出了图像组语义相关类的概念。在此概念的基础上定义了图像组语义关联类,用于建模同组图片间的语义一致性,解决了多幅图像的语义关联问题,最后融合显著性检测区域和图像组语义一致性区域得到协同显著性检测结果。CSCCD创新性地利用图像组语义关联类的概念,解决了当前方法中存在的语义类别相差悬殊的物体被误检测为协同对象问题。针对目前基于学习的协同显著性检测方法并未充分利用卷积特征,生成的协同显著图存在边缘模糊问题,提出了基于Mask R-CNN的多层特征融合的协同显著性检测方法MLF(Multi-Layer Fusion model)。首先,对输入图像和其协同输入组中的图像进行特征提取。然后根据这些特征图生成多尺度特征图,并利用特征金字塔网络融合输入图像的多层特征图对多尺度特征图进行增强。下一步,归一化增强后的多尺度特征图,通过网络中的融合策略进行融合,得到初始协同显著图。接下来,利用基于区域相似度的显著性传播算法得到输入图像的显著图。最后,融合输入图像的显著图和初始协同显著图,并归一化处理,得到最终的协同显著性特性图。MLF充分利用深度网络的多层卷积特征,获得了更多语义和边缘信息的协同显著图。通过iCoseg和MSRC两个协同显著性数据集上的实验结果表明,本文提出的两个模型能够在不同的指标上获得良好的结果,说明了模型的有效性。