论文部分内容阅读
随着互联网技术的飞速发展,网上信息量剧增,人们从海量信息中挖掘出可用信息日益困难。目前人们采用搜索引擎的方式在互联网上检索信息,传统搜索引擎,如国外的Google,yahoo,国内的百度,天网等,都迅速发展起来。截止2010年6月,中国网民数量增长到4亿,网民中使用搜索引擎的比率大于百分之七十,国外的搜索引擎使用比率更高,因此搜索引擎的市场前景看好。然而通用搜索引擎的结果面向大多数用户,当检索词相同时,返回给用户的结果一致。事实上,随着年龄,性别,学历,专业等的不同,不同用户对同一检索词的兴趣点不一致。个性化搜索引擎试图通过分析文档结构、用户浏览行为信息及用户对文档的评价信息,建立用户的兴趣模型,指导搜索引擎的查询结果以及结果排序,力图满足每个用户的需求。本文主要实现了搜索引擎中的三个功能:1、中文分词技术。2、实现了用户推荐功能。3、实现了个性化检索,对相同查询词根据用户兴趣不同返回更适合用户兴趣点的结果。中文分词是自然语言处理的范畴,是搜索引擎查询和建立索引的基础。目前中文分词算法比较常用的有基于词典的分词算法,基于统计的分词算法和基于规则的分词算法。基于词典的分词算法设计思想简单,为大多数程序员所使用。但是中文分词存在两大难点问题,歧义的消除和未登录词的识别。经过众多学者的努力,目前仍未完美的解决此问题。本文的分词算法,对原有分词算法做了部分改进,提高了分词的精度。在用户使用搜索引擎检索的过程中,查询词是用户与搜索引擎交互的唯一手段。查询词的准确与否直接关系到用户检索结果的精度。然而大多数用户不能准确描述自己所遇到的问题,因此会影响到返回的结果。用户推荐的出现很好的解决了这一问题,当用户输入查询限制时,先通过中文分词技术把字符串切割成词语,然后根据关联规则给用户推荐返回更多具有语义相关性的查询结果,供用户选择或者参考。个性化检索是指通过挖掘用户兴趣信息,建立合理的模型来表示、管理用户兴趣,并通过不断更新与维护,逐步优化模型,使其能准确反映用户的兴趣需求,为后续搜索工作提供个性化的分析依据。其包括用户所搜索的关键词,对搜索结果的点击,各个网站浏览行为,书签情况等。搜索引擎掌握了这些用户资料后进行分析,在用户搜索新的关键词时,能返回更有针对性的搜索结果,从而提高用户体验。论文创新点在于:1)设计了自己的中文分词核心词典,其包括常用汉语词语119803条,计算机术语1015条。新词词典是通过计算机程序的主动学习,不断加入未登录词,新词。新词词典用于存放切分词语时出现的未登录词和歧义词,在分词结束时对主要词典进行扩充。本文实现的中文分词提高了现有分词算法的精度。2)在基于通用搜索引擎实现技术的基础上,加入用户兴趣模型,实现了个性化检索技术。用户兴趣模型的建立,是通过web日志挖掘技术,挖掘用户的历史浏览记录和浏览行为,基于群体环境,找到相似用户,利用相似用户的检索结果或者相似用户的兴趣,来扩展所处理信息的广度和精度。