论文部分内容阅读
随着互联网的快速发展,搜索引擎已经成为绝大部分用户进入互联网的入口,用户对于搜索引擎的要求也越来越高。在面对海量数据时,很容易造成信息过载的情况,如何能够快速的获取到用户自己想要的信息成为搜索引擎的热门研究方向。目前的搜索引擎在面对用户的搜索时,只能提供和搜索内容相关的结果,搜索结果中并没有体现出用户的个性化特征,对于同一个搜索词,搜索引擎对所有用户展示的搜索结果都完全相同。随着现代个性化技术飞速发展,搜索引擎的个性化技术已经引起很多学者的关注,个性化搜索引擎的研究也在逐步的深入。本文针对上述内容提出传统搜索引擎的个性化不足的问题,通过结合搜索引擎、推荐技术和用户兴趣模型,设计了个性化搜索引擎的架构,并且利用开源solr搜索引擎框架实现了个性化搜索引擎。本文的工作主要体现在以下几个方面:
(1)概述了搜索引擎的发展研究现状和未来的发展趋势,以及搜索引擎的基本架构和搜索引擎用到的一些主要技术,通过分析搜索引擎的主要组成部分和关键技术,深入的了解搜索引擎各个组成部分的工作原理。
(2)分析了多种个性化建模的方法,提出了基于VSM模型表示方法的用户兴趣模型。并且实现了用户兴趣模型的计算,利用计算好的用户兴趣模型来优化搜索引擎查询,因此在查询请求中就能包含用户的个性化信息。
(3)概述了推荐技术的发展研究现状以及一些常见的的推荐算法。通过分析各种推荐算法的优缺点,提出了基于内容和协同过滤的混合推荐算法,并且通过实验分析了该混合推荐算法相比于传统协同过滤推荐算法在推荐精准度方面有非常明显的提高,在对该混合推荐算法优化后,使得推荐精准度得到进一步提升。
(4)根据传统搜索引擎架构,结合用户兴趣模型和推荐算法模块,设计了个性化搜索引擎的架构。用户的兴趣模型,可以用来优化用户的查询,使得用户感兴趣的结果能获得更高的搜索评分。推荐算法模块,可以用来计算预测评分,使得用户感兴趣的结果能够得到更高的预测评分。然后结合搜索结果的搜索评分和预测评分得到最终的得分,根据最终得分,按照从高到低进行排序返回给用户。
(5)在实验部分,利用开源solr搜索引擎框架,结合爬取的豆瓣电影数据,实现了完整的个性化搜索引擎。相比于传统的没有融入用户兴趣模型和推荐技术的搜索引擎在准确率和召回率上有了比较明显的提高。
(1)概述了搜索引擎的发展研究现状和未来的发展趋势,以及搜索引擎的基本架构和搜索引擎用到的一些主要技术,通过分析搜索引擎的主要组成部分和关键技术,深入的了解搜索引擎各个组成部分的工作原理。
(2)分析了多种个性化建模的方法,提出了基于VSM模型表示方法的用户兴趣模型。并且实现了用户兴趣模型的计算,利用计算好的用户兴趣模型来优化搜索引擎查询,因此在查询请求中就能包含用户的个性化信息。
(3)概述了推荐技术的发展研究现状以及一些常见的的推荐算法。通过分析各种推荐算法的优缺点,提出了基于内容和协同过滤的混合推荐算法,并且通过实验分析了该混合推荐算法相比于传统协同过滤推荐算法在推荐精准度方面有非常明显的提高,在对该混合推荐算法优化后,使得推荐精准度得到进一步提升。
(4)根据传统搜索引擎架构,结合用户兴趣模型和推荐算法模块,设计了个性化搜索引擎的架构。用户的兴趣模型,可以用来优化用户的查询,使得用户感兴趣的结果能获得更高的搜索评分。推荐算法模块,可以用来计算预测评分,使得用户感兴趣的结果能够得到更高的预测评分。然后结合搜索结果的搜索评分和预测评分得到最终的得分,根据最终得分,按照从高到低进行排序返回给用户。
(5)在实验部分,利用开源solr搜索引擎框架,结合爬取的豆瓣电影数据,实现了完整的个性化搜索引擎。相比于传统的没有融入用户兴趣模型和推荐技术的搜索引擎在准确率和召回率上有了比较明显的提高。