基于Nutch的科技主题搜索引擎Crawler的研究与实现

来源 :内蒙古科技大学 | 被引量 : 0次 | 上传用户:SB502
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人们日益增长的个性化需求,通用搜索引擎显然已经不能满足用户的各方面需求,由于主题式搜索引擎具有效率高、专业化、目标化、准确性高、及时性、个性化等优势,能够得到越来越多用户的认可。因此,主题式搜索引擎成为当今研究的热点。另外,由于Nutch具有高透明度,任何单位或个人都可以查看搜索引擎的工作原理并且程序设置灵活,用户可以根据自己需求定制,通过长时间的实际应用,结果表明Nutch运行非常稳定,因此选择Nutch为爱好搜索引擎的人们提供了一个很好的研究平台。本课题的主要内容是基于Nutch的科技主题搜索引擎Crawler的研究与应用。之所以选择科技作为主题,是因为它不仅能丰富人们的精神生活,对更新人们的思想观念以及破除迷信也具有相当重要的意义。在此背景下,本课题设计并实现了一个科技主题搜索引擎。本课题中作者以Nutch作为开发平台,对Nutch进行二次开发,并在Nutch的基础上设计实现一个以科技为主题的主题搜索引擎,详细说明了科技主题搜索引擎搜索系统开发过程和方法。作者首先在阅读了大量的参考文献的基础上,了解了主题式搜索引擎的工作原理、主题式Crawler的抓取策略,分析比较了各种搜索策略之后,鉴于遗传算法在搜索引擎中的各种优势,将遗传算法的思想运用到Crawler的抓取策略中。在设计系统时,系统主要分为抓取模块、预处理模块和查询服务模块。另外,由于Nutch仅仅提供搜索平台,它具有很高的扩展性及插件机制,而Nutch本身的分词效果很差,本课题中使用了庖丁解牛分词器改善Nutch中文分词的效果。最后通过项目部署在Tomcat服务器上对系统进行了实验测试,以验证了此种方法的可行性和预期的结果是否相符,改进后提高了搜索结果的精确度。
其他文献
随着大数据时代的到来,面向大数据的存储系统纷纷出现。不断增长的数据量,使得集中式元数据管理系统的负担越来越重,逐渐成为大数据存储的瓶颈。为此,人们提出了多种分布式元
图形处理器(Graphic Processing Unit,GPU)是显卡最重要的组成部分。GPU的出现有效降低显卡对CPU的依赖,同时有效提高了图形处理,尤其是矩阵变换较多的三维图形的处理能力。
大数据时代,互联网每天都会产生大量的数据,利用数据挖掘算法可以从中分析出有价值的数据。在聚类分析方法中,K-means聚类算法是应用最广泛的一种划分方法。该算法简单,且收
单核苷酸多态性(SingleNucleotidePolymorphism)是指在基因组水平上由单个核苷酸的变异引起的一种DNA序列多态性,它改变了基因原来的结构和连锁率,增加了个体的患病率。目前已有
移动对象是指空间位置或范围随着时间的变化而发生变化的事物。基于交通路网的移动对象索引技术广泛应用于城市交通中车辆与行人的位置记录、运动轨迹查询、时空查询、统计管
大规模地形场景真实感建模与绘制是虚拟战场、地理信息系统、三维游戏仿真等领域的基础。随着应用的不断扩展和深入,人们对地形场景的规模、绘制速度及仿真精度提出越来越高的
当前数据存储规模日益增长,单个存储设备和存储系统的容量及寿命有限,因此需要经常在不同存储设备和存储系统之间批量迁移文件数据集。不幸的是,现有方法通过单个文件串行拷贝的
随着计算机技术的普及和发展,计算机广泛应用于一些关系到国民经济和国家安全的关键领域,如金融、电信、银行、能源、军事等,对于应用于这些关键行业的计算机系统要求具有极
随着全球一体化的不断发展,学术研究不能闭门造车,需要与国外的学术界互相交流。但作为非英语为母语的英文学术论文写作者,经常会遇到一个英文句子该怎样表达才能让国外同行
近年来,随着金融、传感器网络、股票分析、气象监测等领域的不断发展,一种流动的无限的数据引起了数据库界的广泛关注,从而使数据流管理技术成为当前的研究热点。根据数据流