论文部分内容阅读
目前,搜索引擎已经成为互联网的主要应用。随着Internet的信息量迅速增长,传统搜索引擎不能很好地适应这个变化。而一般分布式搜索系统由于系统的异构性及要求子系统配合协作,因而扩展性不强,未能体现真正分布系统的优越性。移动Agent作为新一代分布式处理技术,它的移动性、自治性、主动性、协作性、智能性等特性为分布式搜索引擎带来了新的生命力,可以最大限度地节省服务器资源和网络带宽,很好地解决了目前分布式搜索系统存在的许多问题,是搜索系统的一个新的发展趋势。
本文首先介绍了集中式和分布式两类搜索引擎,分析了国内外分布式搜索引擎的研究现状及发展趋势,指出了目前分布式搜索引擎存在的不足。针对这些不足,本文讨论了移动Agent和搜索引擎相关技术及其性能优势,并讨论了一个基于Agent的搜索引擎系统体系结构,介绍了系统的工作原理及各模块的功能。该系统采用元搜索引擎的结构,以Agent作为架构系统的基本组件,利用Agent的自治性和协作性,使搜索系统的性能得到了很大的提高,不仅网络流量小,且减少了查询时间,同时也简化了系统处理的复杂度。指出了移动Agent应用于搜索系统是解决网络环境下大量信息资源检索的有效途径。但是,由于移动Agent携带了代码、状态信息、结果数据等各种信息,随着搜索站点的增加会产生大量的数据传输,增加网络负担,因此移动Agent技术不利于构建大型的分布式搜索系统。针对这个问题,本文设计了基于移动Agent的搜索引擎模型,并对该模型的系统结构及工作流程进行了详细的分析。最后利用移动Agent的开发工具ASDK初步实现了该模型的部分功能,验证了本系统的可行性。本文的主要研究工作和创新如下:
1. 分析了国内外分布式搜索引擎的研究现状,指出了目前分布式搜索引擎的不足,针对这些不足,讨论一种基于移动Agent的搜索系统;
2. 由于不同搜索系统对查询语句的理解差异性,降低了查准率,本文讨论了对用户提交的查询语句进行XML规范化的处理,有助于异构系统对查询语句的理解;
3. 考虑到移动Agent之间通信交互携带了大量的信息,提出在系统中增加路由Agent的设想,通过搜索引擎的注册信息特征:如搜索区域,搜索类别等,对搜索路线进行配置,不仅有助于加快响应速度,同时也有助提高搜索覆盖率;
4. 考虑到不同的元搜索引擎返回的结果信息存在大量冗余,提出在保存结果信息前,与上一搜索站的结果信息进行比较、去冗余、排序等结果处理,并重新调整权重值;
分析了基于移动Agent的搜索系统的模型和工作流程,利用ASDK和Java开发工具初步实现了该模型。