论文部分内容阅读
随着社交网络的快速发展,网络上的数字图像信息以海量的方式传播,并仍在以几何级数的方式不断增长。为了满足人们对于图像内容检索的需求,基于内容的图像检索研究正受到越来越多的重视和关注。对于人类视觉系统而言,轮廓是一个非常重要的特征,通过它人类视觉系统可以容易且高效地在场景中识别和区分物体。因此基于轮廓的图像检索具有广泛的意义和实用价值,成为基于内容的图像检索领域中一项重要的研究课题。为此,本论文将围绕基于轮廓的图像检索展开研究,建立一个涵盖图像检索全过程的基本框架,具体研究问题包括:图像检索的不变性及其层次化显著候选区域估计算法、轮廓特征提取算法、数据库的索引和重排序算法。为验证提出模型与算法性能,我们研发了一个基于轮廓的实时图像检索系统技术原型,并在该平台上进行了大量基于轮廓的图像检索实验。本论文的主要贡献和创新点体现在以下几个方面:1.图像的层次化显著候选区域估计。为解决图像检索的位移不变性和尺度不变性问题,本文提出了一种图像的层次化显著候选区域(HSCR)估计算法。该算法能在物体显著图上快速捕获物体可能的显著层次状态,并将之形成候选检索区域,因而能自动为一幅图像提供其显著物体的若干个候选区域,这不仅为检索一幅图像多个层次的内容提供了可能,也为图像中显著物体的位置和尺寸提供了有效估计。此外,基于图像的轮廓和颜色显著,本文还提出了一种图像的轮廓显著图提取算法,它生成的物体显著图能更好地匹配HSCR算法,从而有效地提高图像检索的性能。本文将HSCR算法分别基于不同的显著性检测模型、结合不同的轮廓特征提取算法进行了多组图像检索实验。实验结果表明,检索准确率均大幅度地得到提高,说明HSCR算法确实能有效地提高图像检索系统的性能。2.图像轮廓特征提取。本文提出了一种基于层次化朝向的多尺度特征(HOF)提取算法,该算法提取的特征涵盖了物体从整体到局部的信息,相较于仅仅是局部上高度相似的图像而言,HOF能给予那些整体上相似,但局部存在微小差异的图像以更高的相似度,因此尤其适合于随意性较大的简笔画作为查询图的图像检索。此外,HOF的这种特性还可以被用于快速的数据库索引,以提高图像检索的性能。3.数据库索引和重排序。结合HOF特征由整体到局部的特性,本文设计了自顶向下的数据库倒排索引和从粗糙到精细的重排序算法。这种自顶向下的倒排索引可以将大量与查询图在整体上不相似的图像快速地去除,在基本保持检索效果的同时,大大提升了图像检索的效率。此外,从粗糙到精细的重排序算法,对索引结果进行快速而层次化的重排序,有效提高了图像的实时检索性能。4.针对目前基于卷积神经网络的图像检索在简笔画查询方面的不足,提出了一种基于二值化轮廓图的卷积神经网络图像检索算法。该算法用二值化轮廓图搭建了简笔画和自然图像之间的一个桥梁,建立了它们对图像物体的一致表达,并且通过对自然图像的轮廓二值化,不仅可以得到大量类似简笔画的图像,使得利用轮廓图像训练卷积网络模型成为可能,而且保持了同类物体的简笔画与自然图像在网络层次特征提取的一致性,因此它可以大幅度提高简笔画查询的检索准确率。5.实时图像检索系统的开发。我们设计开发了一个基于百万级别图像数据库的实时图像检索系统iRP,不仅支持基于轮廓的图像检索iRP(Contour),而且为适应一些有颜色要求的图像检索需求,我们还将基于轮廓的图像检索框架扩展,提出了基于轮廓和颜色的图像检索iRP(Contour&Color)。此外,该系统还提供了简笔画、图像(包括二值图像、灰度自然图像、彩色自然图像等)、关键词及其相互组合等多种方式给用户进行查询检索,以带来更好的用户体验。最后,我们从网络上采集了超过一百万张的图像作为实验数据,并设计了多组实验方案,在充分的数据支持下,对基于轮廓的图像检索iRP(Contour)过程中各个环节的不同算法,进行了系统性的对比分析。此外,我们对基于轮廓和颜色的图像检索iRP(Contour&Color)、基于二值化轮廓图的卷积神经网络图像检索也进行了实验对比分析。实验结果表明,我们提出的检索框架及算法,均能实时提供较为良好的图像检索结果。在基于轮廓的图像检索中,简笔画查询方面,iRP(Contour)取得的检索准确率更高,而综合自然图像和简笔画两种查询情况,基于二值化轮廓图的卷积神经网络图像检索的检索准确率要高于iRP(Contour)。