基于维基百科的搜索引擎检索结果聚类

被引量 : 0次 | 上传用户:hongshu16
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
搜索引擎的广泛应用为人们充分利用Web丰富的资源提供了重要保证,然而,Web网页数量巨大以及查询的信息不容易用简短词组准确表达,导致一次搜索返回结果过多,如何有效组织这些结果对搜索引擎来说是一个巨大挑战。目前大多数搜索引擎对于用户查询,仅仅通过关键词匹配、排序,输出一个长且无层次的列表,然而这个列表往往达不到预期目标,因为用户往往需要翻阅多页才能找到期望的结果,尤其是对于多义词查询。如果能将这些检索结果根据相应的语义分类别组织在一起,将能更好的帮助用户导航浏览,提高用户的浏览效率。与传统的基于词频和统计的检索结果聚类方法不同,本文提出了一种基于维基百科知识的聚类算法,实现了对检索结果的在线高效准确聚类。该算法利用从目前最大的在线知识库—维基百科中挖掘出的词语间语义关系,聚类后形成更为紧凑的簇、描述性更强的簇标签以及层次结构更合理的树型结构。本文首先描述了一种全新的维基知识的挖掘方法。通过分析维基百科的组织结构尤其是超链接关系,结合机器学习方法、启发式规则和概率统计方法,抽象出一个覆盖面全、准确率高的维基辞典,并提出了短语间语义相似度、短语导向性等指标。该知识库在关键词抽取和文本分类上的简单应用也取得了非常显著的效果。其次,重点介绍了基于维基百科的搜索引擎检索结果聚类的基本思想,突出阐述了特征项的抽取方法和基类合并规则。在特征项抽取过程中,在短语层次上采用全二分最大长度匹配快速识别主要词汇,对同义词进行归并,对多义词根据上下文语境和语义信息的线性融合进行歧义消解。采用倒排索引的方式组织基簇,在基簇的基础上,根据簇文档之间的重叠程度、簇标签之间的上下位关系和语义相关度,采用自底向上的层次聚类算法将标签组织为层次型标签树。最后,实现了在线聚类系统Wiki-SRC,并将它与其他相关研究成果进行了比较。通过对比实验,我们发现Wiki-SRC在簇标签质量、簇覆盖率等方面都有所改进,从而证明了该算法的可行性和有效性。
其他文献
洞庭湖是我国第二大淡水湖,地处湖南省北部、长江南岸。具有调蓄滞洪、繁衍生物多样性以及长江干流净化池或生态前置库等生态功能。然而,在自然和人类活动的双重作用下,湖泊
人最宝贵的是生命,教育是保证生命健康、提升生命质量的活动。生命教育成为教育中一个新的研究热点,早期生命教育更担任着基础和发展的艰巨任务。在生命教育中,疾病是幼儿容
元散曲中有一大批作品涉及到了许多历史人物,其中就有在中国历史上产生很大影响的屈原与陶渊明。在这些作品中,元散曲家观点高度集中地表现出抑屈崇陶的思想倾向:对屈原忧念苍
拉法耶特夫人是法国17世纪的一位贵族知识女性,她从小在贵族圈子长大,不自觉地受到贵族思想观念和价值取向的影响;十几岁开始,她经常出入文学沙龙,在那里受到了新思想的陶冶与
目的:探讨组织工程皮肤移植的手术方法、注意事项及临床效果。方法:2.5~3月龄约克猪6只,制备全厚皮肤缺损创面48个,随机分为三组,每组16例。A组:组织工程全层皮肤移植组;B组:
电子游戏作为一种新兴的文化艺术形式,其强劲的发展势头已成为了推动全球文化产业的重要力量。以互动性为核心,游戏具有独特的内容组成方式与形式表达模式,但与此对应的创作
随着中国金融市场的开放,保险业得到飞速发展,在证券市场也扮演着越来越重要的角色。对于机构投资者和一个理性的个人投资者,在中国特有的资本市场特点下,如何采用国际上通用
迅猛发展的经济使国内能源需求量不断增加,开发和研制用于深水油气勘探、开采的重型装备已成为中国政府的战略决策之一。为此,外高桥造船有限公司正在建造我国首艘深海半潜式
改革开放以来,国家大力扶持中小企业,为中小企业的发展创造了良好的政治环境。而上市中小企业需要的不仅是好的政治环境,他们还需要发展所必要的资金,风险投资机构和证券投资
阎连科在他的小说中建构出了一个独一无二的“耙耧世界”。从《寻找土地》、《年月日》到《日光流年》、《受活》,阎连科力图从“形式进入意义”,刻意回避了小说的故事性、情