一种基于相似度值的向量空间投影HITS算法

来源 :重庆交通大学 | 被引量 : 0次 | 上传用户:qq12433184000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网是现代社会人们交流信息、共享资源的主要途径。作为搜索信息的重要平台,互联网所具有的海量数据、异构性、半结构性、极强的动态性、用户多样性等特点却给Web资源的挖掘带来了相当大的难度。传统的数据挖掘技术已不适用于日新月异的互联网,Web数据挖掘技术应运而生。搜索引擎是人们查找网络信息的重要工具,它应用Web数据挖掘技术,可以帮助人们获取到需求的信息。目前有多种搜索引擎算法,但是大多数算法是对Web页面的文本内容进行挖掘,检索结果集过于庞大,用户难以快速地获取到自己所需求的信息,这是困扰人们高效利用信息资源的一项急待解决的难题。近几年,超链接分析的引入和应用为解决这项难题提供了一条崭新的思路,因为互联网链接结构包含了大量潜在的推荐规律,根据这些规律能够推断出许多Web文档内容所不包含的资源,Web结构挖掘成为了Web数据挖掘的一个重要研究方向。HITS(Hyperlink Induced Topic Search)算法正是在传统搜索引擎查询结果的基础上分析链接结构,对Web数据进行挖掘。本文主要是关于HITS算法的研究,此算法是一种应用较为广泛的Web结构挖掘算法,主要应用在搜索引擎的Web页面结果集排序中。本文首先介绍了Web数据挖掘及其分类,对于其重点研究方向——Web结构挖掘的典型算法进行了归纳,然后深入研究了HITS算法,并对其原理进行了详细地描述。在对HITS算法及其改进算法进行深入研究的基础上,本文提出了一种基于相似度值的向量空间投影HITS改进算法,在传统HITS算法的基础上作出了以下三个方面的改进:1)精简基集。传统HITS算法在根集扩展为基集阶段引入了大量页面,但是其中包含大量同域内的Web页面和广告链接,它们之间的超链接一般仅用于导航目的,不具备参考价值。本文改进的HITS算法对基集进行精简,对同域内的Web页面和无关页面进行判断,予以删除,大大节约了算法的运算开销;2)获取搜索引擎返回的相似度值。考虑到传统搜索引擎爬取Web页面后将文本内容和查询主题表示成词条特征向量,然后通过计算向量的点积来获得两者的相似度值,并随着结果集同时返回给用户,因此采用这些易获取的相似度值来计算超链接与用户查询主题的相关性,不仅可以提高算法区分链接重要性的能力,同时还避免了重复对页面文本内容进行分析,节省了系统开销。3)基于相似度值的空间向量投影方法。将每一特征向量在权威性高的基于相似度值的子空间上进行投影,返回的页面结果集与相似度值高的页面集链接最为密切,在不增加计算开销的前提下有效地抑制了HITS算法的主题漂移现象。本文还设计了实验系统用于验证基于相似度值的向量空间投影HITS算法的可行性和有效性。实验结果表明:本文提出的HITS改进算法在运算开销、权威页面主题相关性以及中心页面主题相关性等方面明显优于传统HITS算法,并且可以有效地抑制主题偏移现象,使得用户查询质量得到了明显的提高。
其他文献
聚类是数据挖掘领域中的一个重要研究课题,目前己存在很多经典的聚类算法,但没有任何一种聚类技术(聚类算法)可以普遍适用于揭示各种多维数据集所呈现出来的多种多样的结构。
基于构件的开发过程规范是目前在中小型软件企业普及构件化软件开发技术的关键,目前还没有适合于中小型软件企业发展的软件开发规范,加之当前没有一种统一的基于构件的开发过
随着我国城镇化发展水平的不断提升,车辆越来越多地服务于我们的日常生活。车辆在方便我们生活的同时也带来了一些问题,例如人工管理的效率低下、如何快速准确处理交通违章等
随着半导体技术以及集成电路技术的飞速发展,单个芯片中IP(Intellectual Property)核数量越来越多。当单个芯片上集成的IP核数日达到成百上千的时候,基于片上总线的SoC(SystemO
颜色是人类最敏感的视觉刺激,影响人们的情感,引起人们心理和生理反应,影响人们生活中的各个方面。因此系统地颜色-情感研究具有重要的理论和现实意义。本文通过设计颜色-情感的
空间聚类是空间数据挖掘的一项重要研究课题,空间聚类就是根据相似性对空间对象进行分组,使得每一个簇中的对象有非常高的相似度,而不同簇中的对象尽可能不同。空间聚类在地
Ad Hoc网络作为一种新型的无线网络,在日常生活中有着重要的应用,同时有着重要的科学研究价值。随着对Ad Hoc网络研究的不断深入,安全问题日益成为威胁其发展的重要瓶颈。在A
万维网知识表示相关研究的进展,特别是链接数据项目及相关数据集的发布,使得人类知识库达到了前所未有的规模。从网页中提取结构化知识的研究更促进了人类知识库向“万维网规模
学位
随着信息技术的迅速发展,众多应用领域如银行金融业、电子商务、生物信息、网络安全等产生了爆炸式的信息。不仅在数据规模上具有高维、海量的特征,在信息内容上还具有冗余多、
遗传算法和遗传编程作为进化计算模型中的两个最典型的分支,已成为人工智能的研究热点。遗传算法采用线性编码解决简单问题,而遗传编程采用树结构编码来解决复杂问题。2001年,葡