局部敏感哈希与近似最近邻算法研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:iserce
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着以互联网为代表的计算机技术的高速发展,世界开始步入大数据时代。大数据在给人们带来丰富的资讯知识的同时也对许多的传统领域产生了挑战,相似性查询就是其中之一。相似性查询即查询与给定对象之间的相似性,其中近似最近邻查询就是相似性查询的一个重要分支。近似最近邻查询牺牲少量查询精度换取更快的查询速度,在图像检索等领域有广泛的应用。查询过程中,由于“维度灾难”使得基于划分的查询方法无法有效解决高维数据的近似查询问题,为此有必要研究近似最近邻相关算法。在近似最近邻算法研究过程中,局部敏感哈希算法(Locality Sensitive Hashing)受到了越来越多的人的关注。局部敏感哈希算法将对象进行哈希,使得相似性更高的数据哈希到同一个哈希桶的概率更高。查询过程中仅对具有相同哈希的数据进行精确的相似性比较,这样就过滤了大部分相似性较低的数据,从而能够快速得到查询结果。精确欧氏局部敏感哈希算法为了提高算法的召回率,使用多张哈希表。但是每个哈希表的哈希桶中的数据会受到原始数据分布的影响,导致哈希桶中的数据数目十分不均衡,哈希桶中的数据不均衡性导致检索效率降低。针对近似最近邻算法研究中出现的问题,本文的主要工作如下:(一)研究了一种基于平衡索引的局部敏感哈希(BILSH)。首先采用稀疏子空间聚类方法,对具有聚集现象的数据实行聚类。然后在聚类后的每个类中使用局部敏感哈希,这使得哈希桶中数据分布更加平衡。提出了一种Depth优化的方法。对BILSH的查询过程中需要计算高维数据之间距离的步骤进行优化,降低了近似最近邻检索中无效的距离计算数目,进一步加快了检索时的查询速度。(二)提出了一种从高维数据中检索近似最近邻的基于编码的哈希方法——局部保留的熵量化哈希。首先,构建邻接图并最小化近邻在低维空间的距离使得投影后的矩阵保持高维的近邻关系。最后通过熵量化降低投影后矩阵在量化过程中的损失,其中量化过程中使用混合距离度量方式。(三)提出了高维数据下的近似最近邻检索模型,并在公开数据集Caltech和Cifar上对模型算法进行了实验。实验表明,基于平衡索引的局部敏感哈希检索效率有所提高,同时局部保留的熵量化哈希与其他哈希算法相比正确率和召回率也有一定的提升。验证了所提模型的算法可以有效处理近似最近邻检索问题。
其他文献
《天津新闻》在挖掘地域经济文化、艺术生活、国内外大事要事的基础上,形成了独具特色的新闻特点,尤其在播音员形象气质提升方面,加强了与"天津新闻"相吻合的播音技巧,通过非语
2013年我们在徐州立项推广微润灌溉,不仅要在山区、设施农业灌溉方面,而且还要在农田灌溉和园林灌溉中推广这一新技术。$$    现阶段的农田水利灌溉模式是从渠首提水泵站翻
会议
本文的目的是根据价格传递效应的理论,通过考察国际贸易中进出口价格的相互影响来检验是否存在中国"通缩输出"的现象.为了使检验结果更具有统计意义上的稳健性(robustness),
能源危机和环境污染是车载燃料电池发展的主要驱动力。电催化剂的性能和成本是制约其实现商业化的关键因素之一。目前,车载燃料电池用催化剂主要是铂(Pt)基催化剂,文章对质子交换
木质素是自然界中仅次于纤维素的第二大可再生资源,被誉为21世纪可被利用的最丰富的绿色资源之一。聚氨酯是一种应用领域非常广泛的合成高分子材料,庞大的聚氨酯产量需要消耗大量多元醇。目前,多元醇严重依赖于石化资源。开发和寻找新的原料替代石化多元醇是聚氨酯行业可持续发展的关键。木质素含有大量羟基等活性官能团,本身还是一种天然的紫外光稳定剂。若能使用廉价易得的木质素部分替代石化多元醇用于聚氨酯材料的合成,不
风机齿轮箱中轴承和齿面的磨损是齿轮箱最常见的累积故障,当齿轮箱中的系统部件的累积磨损达到一定量时就会严重威胁到整个风电机组的正常运行,甚至大大降低其使用寿命。基于
气压的测量应用广泛,测量手段也很多。本文利用MPX4115作为气压传感器对气压进行测量,并利用MCS-51单片机进行处理后送显示器显示数据,本文重点解决了传感器数据读取和数据修
“成长记录袋评价”是一种新型的质性评价方案,符合新课程理念对评价方式多元化的要求.为了说明在高中物理教学中如何实施“成长记录袋评价”,具体操作过程中有哪些注意点.本
目的观察脑血通片对脑缺血损伤的保护作用并探讨其作用机制。方法采用小鼠全脑缺血、小鼠双侧颈总动脉及迷走神经结扎、小鼠全脑缺血再灌注、大鼠急性不完全脑缺血及胶原蛋白
阐述了脱硫废水的来源、水质特点及废水中主要污染物的排放控制标准,介绍了水力除灰、蒸发以及单独设置化学水处理系统等3种国内外常见的脱硫废水处理方式,并重点比较了国产湿