基于Nutch的搜索引擎智能化的研究与应用

来源 :北京师范大学 | 被引量 : 0次 | 上传用户:luzhiqing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面向主题的垂直搜索引擎是一种分类细致、更新及时的搜索引擎,在针对确定了主题领域的搜索服务建设中,有着良好的表现。同时,智能搜索引擎的研究也已经成为搜索引擎领域研究的重要内容。本文着重研究现有的搜索引擎理论和技术的成果,在北京市教育信息智能系统的项目框架下,引入了基于Nutch的智能化网页资源采集和检索的设计方案。进行了如下内容的研究:   首先,本文叙述了搜索引擎的发展现状和特点。并且深入研究了搜索引擎相关的理论和关键技术,掌握搜索引擎工作流程中的关键技术的应用。找到适合本系统的技术策略,以及进行智能化,个性化改造的方式方法。   其次,结合以上对搜索引擎的技术的讨论,重点研究了基于Java的开源项目——全文搜索引擎系统Nutch,分析了Nutch所采用的技术框架,系统工作流程和扩展机制,集中体现了利用Nutch进行搜索引擎二次开发的高效性和可靠性。   接着,针对项目的实际需要,有目的地从多个方面对Nutch进行了升级改造,从而搭建起面向确定主题的智能化的垂直搜索引擎。具体工作包括向Nutch系统增加中文分词功能,从而增加了系统对中文的适应能力,使得系统在进行中文检索时有更好的表现;在网络信息收集过程中,通过对前期搜集信息的整理建立了主题相关的URL列表,并对URL中的地址进行二次搜索,从而通过限定URL范围的策略来保证与主题的相关度;对用户的搜索结果的进行聚类以及基于人工配置的分类,使得结果更加明确直观;以及一些必要的细节修正。在开发改造过程中,综合运用了Nutch的插件机制,修改源码和应用API三种方式,使得开发环节逻辑清晰,思路明确。并对结果进行了展示。从结果可以看出基于Nutch的智能化搜索引擎能够有效避免噪音干扰,提供高效,准确的信息检索服务。   最后,对论文的工作进行了总结,指出存在的不足和今后的发展方向。
其他文献
当前,手机给人们生活带来的便捷处处可见,所以过去的pc端互联网生活也逐渐转移到移动互联网上。随着手机平台技术的推进,手机系统的智能化,大容量存储空间,都让它成为人们互联网生
随着计算机通信网络技术的迅猛发展和企业需求的持续扩大,企业信息化管理平台的建设也变得越来越重要,同时也变得越来越复杂,为了能在激烈的市场竞争中处于有利地位,采用优秀
心脏增大是器质性心脏病的重要体征之一,可由心脏扩张或心肌肥厚所致。在数字胸片中,确定心脏是否增大最简单方法就是测量心胸比率(CTR)。心胸比率是心脏最大横径与胸廓最大横
虚拟内窥镜系统是医学影像技术与现代图形图像处理技术、可视化技术相互借鉴融合的产物。随着计算机图形图像技术的发展,虚拟内窥镜系统在医学领域逐渐得到广泛应用。  
随着企业对MIS系统需求的复杂化,系统开发周期越来越长、开发以及维护成本越来越高。使用传统的软件开发方法已经难以保证软件开发效率,软件复用技术是在软件开发中减少重复劳
随着计算机技术和通信技术的发展,人与人之间的沟通方式正走向多元化。统一通信这种融合了多种通信方式的技术逐步受到了个人和企业的关注。尤其对于企业级用户,统一通信更是大
本文分析了目前存在的多种数据缓存技术和池化技术,全面系统地总结了数据缓存技术和池化技术的概念、分类和特点,并阐述了这些缓存技术和池化技术在不同软件系统中的应用和研究
粗糙集理论对属性约简的研究基本上使用的是静态约简的方法,这些方法只适用于小容量的决策信息系统,而对于拥有海量数据的决策信息系统来说,得到决策表中较为稳定的约简就成
随着信息技术的飞速发展,信息技术已经渗入到现代社会的方方面面;信息技术在教育中的应用也非常广泛。学习社区是e-learning研究领域的热点,国内外有大量的学习社区,学习社区
由于计算机网络的高速发展,数据量的激增使得计算机存储技术不断向纵深的方向发展。传统的内容分发网已逐渐转变为内容分发网与P2P技术相结合的模式。对于P2P内容分发网系统