基于LSH的Web数据相似性查询研究

被引量 : 11次 | 上传用户:yuhy07
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Web技术的发展及其广泛应用,Web上涌现了海量的、格式繁多的数据。对这些数据的查询和管理成为Web应用的重要步骤。其中,相似性查询作为人们获取信息的重要手段,是Web数据管理的重要应用之一。Web数据和应用的多样性使得Web数据相似性计算也是多样化的。同时,Web数据的高维性给其相似性查询带来了新的挑战。为了平衡查询效率和查询效果,人们提出了相似性近似计算方案。位置敏感哈希(Locality Sensitive Hashing, LSH)作为相似性近似计算的最新技术,获得了广泛的研究并使用于诸多相似性查询的应用中。本文首先根据类型对Web数据进行了分类,综述了位置敏感哈希(Locality Sensitive Hashing, LSH)技术的研究现状,针对Web数据的特点和Web数据管理的挑战,本文使用位置敏感哈希技术对Web上的数据在以下三个方面进行了研究:在Hadoop平台上研究了大规模XML数据结构相似性查询:对于字符串数据,研究了基于Hash的字符串相似性连接;对文本数据相似性查询,提出了基于学习的相似性查询框架和算法。本文的主要贡献总结如下:1.在Hadoop平台上研究了大规模XML数据结构近似相似性查询。首先我们研究了XML树结构相似性计算、Hadoop集群的编程模式,接着研究了XML树结构信息提取技术pq-gram,并使用pq-gram对XML提取结构信息,我们在Hadoop集群上使用MapReduce实现了LSH索引,该索引可以支持大规模XML结构近似相似性查询。最后在真实数据集上,验证了我们的方法对XML结构相似性查询具有良好的查询性能和可扩展性。2.使用Min-hashing LSH技术提出了基于Hash的字符串近似相似性连接算法。我们首先研究了字符串相似性连接问题,分析了Trie-join相似性连接技术和真实数据集上相似性连接的特点,利用基于Min-Hashing的LSH提出了Hashed-Join,用于近似处理在编辑距离约束下字符串近似相似性连接。Hashed-Join首先把字符串数据使用LSH进行分组聚类,进而在各个组内使用Trie-Join技术进行相似性连接。该算法可以方便地扩展到分布式平台处理大规模的字符串相似性连接。最后本文通过在真实数据集上的实验分析和对比,证实了本文提出方法具有更好的连接性能和可扩展性。3.提出了基于学习的相似性查询算法。本文在研究分析LSH的随机投影(Random Projection)技术的基础上,证明了高维数据随机投影之后的二进制编码满足语义哈希的要求。把二元编码用作数据的类标号,提出了基于学习的高维数据相似性查询框架和算法。在该框架下,研究了近似k-最近邻查询和c-近似最近邻查询。通过实验验证和分析,证实了本文的方法与现有方法相比,不仅减少了编码长度、降低了数据预处理的时间和空间代价,而且提高了查询效率综上所述,本文结合Web数据的特点,使用位置敏感哈希技术解决Web数据相似性查询问题,主要的工作包括:使用MapReduce实现了大规模XML数据结构相似性查询;提出了基于Hash的字符串相似性连接算法;提出了基于学习的相似性查询架构和算法。本文对以上提出的算法在真实数据集上进行了实验,验证了效率、效果和可扩展性。
其他文献
一、目的吴茱萸碱/吴茱萸次碱(EVO/RUT)是吴茱萸提取物的主要活性成分,药理学研究发现二者通过激动辣椒素受体,耗竭神经元/纤维的神经递质而阻断疼痛传导,并可下调环氧合酶-2的
‘政治发展”是自上世纪50年代开始兴起的一个研究领域,是目前各国政治学者都在关注的一个热门学术话题。马克思没有提到“政治发展”概念,并不代表他没有关于政治发展的思想
随着网络的日益普及,网络日渐成为一种新型传媒。网络舆论已经逐渐成为新闻舆论中一种重要的形态,对监督我国政府行为的作用日渐重要。对于发挥网络舆论对政府行为如何监督已
国有资产监督管理委员会(以下简称国资委)是我国经济转轨时期经营管理国有资产的专门机构。国资委从设立开始,一直兼任监管者和出资人的职能,其职能定位也一直是学界争论的焦
改革开放以来我国的国民经济出现了快速增长,全国的公路建设也随之迅速发展,与此同时带来了交通量大量增长、重载和偏载等问题,这些问题的出现给在役公路的路用性能和行车安全带
随着医药产业市场的发展,医药企业战略的研究对促进医药企业的发展,提高医药企业的竞争力,推动医药企业的经营管理水平上台阶,将起到积极的影响,具有深远的意义。本研究结合
随着装配式建筑在建筑行业的快速发展,现有设计方法在设计思路、流程、方法等方面存在一些问题,将BIM技术引入到装配式结构的设计过程中,可以有效解决传统装配式结构在设计过
隧道路段是高速公路的瓶颈路段,也往往成为高速公路事故黑点路段。隧道交通环境的特殊性使隧道交通事故与驾驶心理密切相关,分析隧道路段驾驶心理的变化过程和隧道环境对驾驶
<正> 一、病历摘要 患者于××,H22403,女,22岁,未婚,莱阳市人,汉族、营业员。因精神失常7年,又话多,疑人迫害月余,于1993年5月5日第3次住院。家族成员无精神病及癫痫史。患
国防教育是巩固国家安全的固有环节,高校国防教育在其中扮演了不可或缺的角色。随着时代的发展和变迁,国防教育的侧重点和方式正在转变,高校国防教育随之也发生了排序重点的