论文部分内容阅读
随着移动互联网、手持拍照智能设备、网络社交媒体的兴起和普及,人们得以随时随地制作、分享和获取数字图像数据。然而,急速增长的图像数据量给互联网有效管理带来严峻考验。据不完全统计,雅虎照片网站Flickr每分钟增加2000万以上的图片,社交媒体Twitter每分钟增加27万张以上的图片数据,互联网图像数据增长之迅猛由此可见一斑。如何快速准确地在互联网庞大的图像数据中找到所需要的图像已经成为互联网用户的广泛而迫切的需求,同时也具有巨大深远的经济价值和科学意义。 首先,通过图像自身的内容来检索图像并不是一个新的研究课题,计算机视觉领域早已对其作了广泛和深入的研究。第一代图像检索技术是通过图像的标注关键词来对图像进行检索,第二代发展为使用特征对图像内容进行描述,也就是使用图像自身的内容来对图像进行分析和检索,即基于内容的图像检索技术(Content Based ImageSearch,简称CBIR)。然而早期的图像特征如颜色、灰度、纹理等全局特征在图像条件变化时表现得并不稳定,不适用于用户可以随意修改图像的情况。在这种情况下,第三代基于局部不变性的图像特征开始兴起,如SIFT、SURF等一大批以高维浮点数向量为表达形式的局部特征开始崭露头角,并且在图像分析和检索领域取得了巨大的成功。然而高维的浮点型特征在出色的区分能力和稳定的局部不变性的情况下,由于其自身的数学特性和当前计算机架构的局限存在维度灾难问题,使得这些高区分度、高鲁棒性的局部特征难以满足现代互联网急速增长的大规模数据处理的要求。 总而言之,虽然基于内容的图像信息检索技术通过多年的研究和发展已经取得了令人瞩目的成绩,然而新的应用环境对传统的基于局部特征的检索模型提出了严峻挑战。如何在保证检索精度的同时大幅减低图像检索系统的存储和计算开销,已经成为计算机视觉领域一个亟待解决的重要研究课题问题。本文从这一问题入手,着重研究了图像检索系统中的局部特征的提取、匹配以及图像特征的编码汇聚等若干关键技术,围绕着二进制局部特征提取算法、二进制特征的距离度量以及基于空间关系的二进制特征编码三个方面进行了较为深入的研究。本论文的主要贡献和创新点如下: (一)为了解决传统高维浮点型特征的维度灾难问题,近年来出现了一系列基于二进制表达的局部特征,它们占用存储空间极小,计算效率极高,匹配速度极快。但是在实际应用中发现这类二进制局部特征与传统局部特征相比较存在明显的性能差距,主要表现在区分度较低,鲁棒性较弱。为了提升二进制局部特征的区分度和鲁棒性,缩短与传统浮点型特征的性能差距,本文提出了一种用基于随机亮度差量化的二进制局部特征,在保证低存储要求和高计算效率的同时,大幅提升了二进制特征的区分度和鲁棒性。 (二)二进制局部特征一般采用海明距离度量特征之间的相似度。海明距离具有速度快容易实现的优点。然而,海明空间本身存在‘厚’边界的问题,而且二进制特征向量中存在大量不稳定的比特,也就是说,其特征分量的区分能力和贡献权重并不一致,这给使用海明距离作为相似性度量带来了的匹配精度下降的问题,反映在特征匹配的实验中,出现大量的误匹配并且丢失部分正确的匹配。为了弥补因为相似度度量区分度低所带来的性能损失,我们提出了一种基于弱比特分布的二进制局部特征匹配算法,该算法利用的二进制特征向量中弱比特的分布信息,将匹配的判定由传统的一维海明距离空间推广至二维平面空间,从而大幅提高了二进制特征的匹配精度,而且该算法便于嵌入目前集中主流的二进制特征算法中。 (三)传统的基于局部特征的方法,如BoVW等并不包含特征的空间几何信息,且存在特征的量化错误的问题,传统图像检索方法的检索结果存在很多误匹配。为了弥补空间信息缺失和量化错误带来的精度损失,许多基于RANSAC几何校验算法及其它一些空间关系验证算法相继问世,然而传统的利用空间几何关系对检索结果做几何验证的方法计算开销较大,在大规模图像检索系统中难以实际应用。本文从充分研究各种空间关系模型的基础上提出了一种二进制局部特征空间关系编码算法,并且基于该算法构建了基于二进制特征的大规模图像检索系统。本文的算法在主流的公共数据集达到或超过了传统的基于BoVW、FV、VLAD的平均准确率,并且在计算效率和扩展性上高于目前主流的图像检索系统。