基于Mask R-CNN的图像协同显著性检测研究

来源 :中国民航大学 | 被引量 : 0次 | 上传用户:Jason51090
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像协同显著性检测是一种从多幅相关图像中提取共同出现的相同或相似的显著性目标的方法,已经成为了计算机视觉方面非常热门的研究课题。协同显著性检测的难点在于如何区分图片组中的前景和背景,并突出前景目标;以及如何通过对同组图片间的一致性关系进行建模,并利用群组语义信息来提升协同显著性检测的性能。本文针对以上问题做了如下研究。针对目前协同显著性检测方法中存在的语义类别相差悬殊的物体被误检测为协同对象等问题,本文提出了基于卷积神经网络和语义相关的协同显著性检测算法CSCCD(CNN and Semantic Correlation based Co-saliency Detection)。首先,采用引导超像素滤波方法对SLIC分割出的超像素区域和DSS模型的显著性区域进行处理,清晰地显示了目标边界轮廓。然后,使用Mask R-CNN提取出语义特征,对图像语义特征和语义一致性进行定义,提出了图像组语义相关类的概念。在此概念的基础上定义了图像组语义关联类,用于建模同组图片间的语义一致性,解决了多幅图像的语义关联问题,最后融合显著性检测区域和图像组语义一致性区域得到协同显著性检测结果。CSCCD创新性地利用图像组语义关联类的概念,解决了当前方法中存在的语义类别相差悬殊的物体被误检测为协同对象问题。针对目前基于学习的协同显著性检测方法并未充分利用卷积特征,生成的协同显著图存在边缘模糊问题,提出了基于Mask R-CNN的多层特征融合的协同显著性检测方法MLF(Multi-Layer Fusion model)。首先,对输入图像和其协同输入组中的图像进行特征提取。然后根据这些特征图生成多尺度特征图,并利用特征金字塔网络融合输入图像的多层特征图对多尺度特征图进行增强。下一步,归一化增强后的多尺度特征图,通过网络中的融合策略进行融合,得到初始协同显著图。接下来,利用基于区域相似度的显著性传播算法得到输入图像的显著图。最后,融合输入图像的显著图和初始协同显著图,并归一化处理,得到最终的协同显著性特性图。MLF充分利用深度网络的多层卷积特征,获得了更多语义和边缘信息的协同显著图。通过iCoseg和MSRC两个协同显著性数据集上的实验结果表明,本文提出的两个模型能够在不同的指标上获得良好的结果,说明了模型的有效性。
其他文献
行人重识别是检索图像或者视频序列中跨摄像头的特定行人的技术,是计算机视觉和模式识别领域的研究热点之一,具有明显的研究价值和技术挑战性,在智能视频监控、智能安保等领
本论文采用模板法、水热法和超声化学沉积法制备出三种基于ZnO或者SnO2的气敏材料,考察了制备材料的结构特性和气敏性能,具体研究内容如下:以有序多孔ZnO为前驱体,采用水热法
三维建模技术在诸多领域都有着越来越广泛的应用。而目前常用的三维建模软件需要用户付出很高的学习成本,对于普通大众而言很难使用。基于图像的三维模型生成系统则有着简单
为调配我国能源资源分布不均的状况,促进区域间的协调发展,我国已经形成了“西电东送、北电南送”大规模的跨区域输电网络结构。近年来,随着电力市场改革,输电网络损耗作为电
超级电容器是一种性能介于传统电容器和二次电池之间的新型储能器件。随着电化学储能器件的微型化、智能化和便携化发展,柔性超级电容器的研发成为大势所趋。作为超级电容器
近年来碳系纳米材料的产量与应用范围都在快速增加,其将难以避免地进入水环境,成为潜在的污染物,进而对水生态系统带来潜在威胁。研究碳系纳米材料在水中的迁移转化可以更好
随着当今全球经济一体化发展和人口数量的增加,交通运输所扮演的角色在世界范围内受到了极大的关注。经济和运输自然未来的主流观点之一认为交通运输被反映在普通文献当中,强
计算机视觉是一个跨学科的研究领域,研究目标是使计算机从数字图像视频中获得高层次的理解。视觉关系检测是连接计算机感知和更高层次语义理解的桥梁。与物体检测的区别在于,
现实世界中,许多动态系统可以被建模为一类混杂系统,其状态变量和输出总是非负的。这类系统被称为正系统,它在生物医学、通信、生态学等领域有广泛应用。正马尔科夫跳变系统
随着对成像技术和成像设备研究的不断深入,各种模态的医学图像层出叠见,极大地促进了医学影像技术的发展。但是由于成像原理的不同以及成像设备的物理局限,单一模态的医学图