论文部分内容阅读
随着图像采集设备的普及和移动互联网的飞速发展,图像数量呈现爆炸式增长,如何快速准确的在海量的图像数据中进行目标检索,是近年来计算机视觉领域的一个研究热点,具有十分重要的学术意义和应用价值。而随着用户对于检索要求的不断提高,目标精细检索系统也开始进入人们的视野。通常来说,目标精细检索系统可以从两方面进行定义:(1)能够生成更加精细的图像标注信息。更精细的标注包括物体区域的像素级标注(分割信息),以及物体部位的标注信息。这些精细的标注信息允许检索系统返回更加精细的检索结果:(2)能够理解用户更加精细的检索意图描述。例如用户以手绘草图作为检索输入,该草图描述着检索目标的形状细节、姿态、角度等信息。对精细检索意图的理解允许检索系统返回和用户输入高度匹配的目标。总的来说,相比于传统的目标检索系统,目标精细检索系统能够返回更加符合用户需求的检索结果,避免用户对检索结果进行二次处理和筛选,满足用户精细化的检索需求,大大提高目标检索的效率,具有非常重要的意义。本文的工作以目标精细检索为目标,从以上两个方面入手进行研究,取得了以下成果:(1)针对目标标注中的目标多样性和像素级标注问题,本文提出了一种基于超像素(superpixel)和改进与或图(AND/OR Graph)模型的目标标注方法。目标物体在外观、姿态上的多样性,会显著降低目标标注的性能,增加像素级标注的难度。针对这个问题,本文将目标物体定义为一系列部位的组合,提出一种改进的与或图模型来组织部位之间的关系,以提高对于外观和姿态变化的鲁棒性,并利用基于图模型的快速推理算法实现对物体部位的最优选择。在生成候选部位集合的过程中,考虑到像素级标注的要求,本文以超像素区域的轮廓形状作为特征,基于模板库来实现候选物体部位集合的生成。超像素和改进与或图模型的结合,使得本文的方法对于目标多样性具有较好的鲁棒性,并且能够实现目标的像素级标注。在多个公共数据库上的实验结果证明了本文的方法能够有效的应对目标多样性问题,实现目标区域的精细(像素级)标注。(2)针对目标部位标注中的鲁棒性问题,本文提出了一种基于轮廓预测及增强的目标部位标注方法。相较于目标整体,目标部位具有形变较小的优点,但同时也具有有效特征少,易受噪声干扰的问题。基于这些特点,本文通过增强物体部位的轮廓边缘来提高目标部位标注对于噪声干扰的鲁棒性。本文利用学习算法从正样本集中自动的学习一组典型的轮廓边缘模式(edge patterns)。基于学习得到的轮廓模式,本文提出一种“轮廓预测-增强”策略对输入图像进行过滤,预测图像中可能存在的物体部位轮廓边缘,根据预测结果在增强物体部位轮廓边缘的同时抑制噪声边缘,以达到提高部位标注鲁棒性的目的。INRIA和TUD数据库上的实验结果表明了本文的方法的确有效的提高了目标部位标注的鲁棒性。(3)针对手绘草图检索中的噪声问题,本文提出了一种轮廓边缘选择算法。由于自然图像中存在的大量噪声,手绘草图和自然图像之间存在巨大的视觉差异。如何有效的降低噪声边缘的影响,是提高检索系统性能的一个关键点。本文将手绘目标图像和边缘图像(自然图像经边缘检测生成)视为一系列线段的组合,提出了一个HLR (histogram of line relationship)描述子通过描述线段之间的关系来描述物体形状。因为边缘图像中包含大量的噪声边缘,如物体细节边缘和背景边缘,基于HLR描述子,本文对边缘进行选择,保留物体轮廓边缘,忽略噪声边缘。该算法为每一个HLR描述子生成大量假设,每种假设对应一种边缘选择的结果,最终将边缘选择问题转化为一个寻找最佳假设组合的最优化问题。相应的,本文提出一个快速算法来求解这个最优化问题。实验表明,HLR描述子和边缘选择算法都有效的提高了检索性能,增强了检索系统对于噪声的鲁棒性。(4)针对手绘草图中的边缘不稳定问题,本文提出了一种最优局部匹配算法。自然图像经过边缘提取不仅会生成噪声边缘,也会造成轮廓边缘丢失,即边缘不稳定问题。这个问题增加了手绘目标图像和自然图像之间的匹配困难。噪声边缘的存在使得边缘图像(自然图像经边缘检测生成)成为手绘草图的一个超集,而轮廓边缘丢失使得边缘图像成为手绘草图的一个子集。于是,本文将手绘图像和自然图像之间的匹配问题归纳为一个最优局部匹配问题,提出了一个全新的SP (structure point)描述子和层次匹配算法来解决这个问题。SP描述子通过描述线段间的交点来描述物体的局部结构信息。层次匹配算法将SP描述子层次的分解为描述子集合,通过自顶向下的匹配方式来实现SP之间的最优局部匹配。在多个数据库上的实验结果证明了SP描述子和层次匹配算法对于边缘不稳定现象的有效性。