基于Lucene小型搜索引擎的研究与实现

被引量 : 0次 | 上传用户:minisnake1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络的迅猛发展,一些企业和校园内部局域网的信息量也大幅增长。人们发现即使是获取局域网的信息也变得困难。目前虽然已经有google、百度这些优秀的通用搜索引擎,但是它们并不能很好的解决这个问题。一方面,通用搜索引擎的覆盖率都不太高,很多局域网的信息都无法完全搜集;另一方面,通用搜索引擎的页面更新比较慢,信息的实时性、准确性都无法保证。因此,为了提高局域网内信息检索的效率,本文设计并实现了适用于局域网信息检索的小型搜索系统。本文以校园网为平台,在深入研究了通用搜索引擎基本原理、架构设计和核心技术的基础上,结合小型搜索引擎的个性化需求,构建了一个运行稳定,性能良好且具有可扩展性的小型搜索引擎系统。论文不仅完成了对整个搜索引擎系统框架的设计,而且基本上完成了所有的开发测试工作。本文论述了系统开发的背景和国内外搜索引擎技术发展现状,分析了小型搜索系统的个性化需求,明确了系统开发过程中要解决的问题,提出了具体的设计方案。论文的主要工作以及创新如下:1.利用了分布式处理模型Hadoop,搭建了系统分布式框架,提高了系统的整体性能。2.针对搜索结果的不准确、滞后问题,分析了网络信息更新的特点,利用了Quartz作业调度系统,设计并实现了页面更新模块,提高了信息搜索的准确性和实时性。3.基于Lucene软件包,设计实现了系统核心的索引和搜索模块,完成了对页面的索引和搜索。在此过程中,设计了页面解析框架,实现了对多种格式的文本解析;研究并改进了最大正向分词算法,提高了对中文信息的分词效率;4.针对搜索结果中出现大量的重复页面的问题,研究了MD5算法实现对索引中重复页面的消除,部分优化了搜索结果。最后,通过在校园网上运行,分析了运行的数据,证明系统已成功达到了预期的目标。
其他文献
一、育肥牛的选择所选牛只必须生长发育正常,健康无病。选择西门塔尔牛、利木赞牛、夏洛来牛和当地黄牛杂交后代,黑白花牛和当地黄牛杂交后代的公牛或阉牛。二、肥育牛的营养
介绍大数据及其思维特点,探讨大数据思维应用于企业运营管理的3个层次,并结合商贸企业运营管理工作的大数据思维应用进行了简单分析,指出当前商贸企业大数据思维应用中存在的
电力是国民经济的基础性产业,密切关系企业生产和群众生活。电力价格,直接影响工商企业生产成本和广大人民群众的生活成本,社会关注度高。长期以来,我国实行电网企业统一购电
确保民营经济健康快速发展,首先,民营企业应树立科学的发展观,增强法律意识,维权意识,依法经营意识;其次,行政机关对民营企业的干预不得错位,监督不得缺位;最后,司法机关正确
教育家型校长的成长规律:具有阶段发展性,由专业化,到专家,再到教育家;具有过程进步性,从成功、成名直至成家;具有提升机遇性,抓住时缘、事缘、人缘;具有贡献影响性,由一般影
采用聚四氟乙烯-钢板为滑移支承元件,利用软钢U型带片为限位消能元件提出了一种应用于框架结构的新型的滑移隔震体系,克服了传统滑移隔震限位装置一滑就限增加上部结构的地震反
进入21世纪以来,随着我国经济体制改革的不断深化,经济全球化的加深和我国高等教育的大规模扩招,大学生的就业环境发生了很大的变化,劳动力市场上的竞争也愈来愈激烈,结构性
为了研究天然气管道的泄漏定位技术,结合龙格-库塔法,建立天然气管道的数学模型。利用该模型,基于试验仿真系统模拟天然气管道泄漏,并计算得到泄漏点位置;将定位结果与传统次
混凝土是现代建筑工程中应用广泛的建筑材料之一,其质量极大地影响着结构的安全性能。为了确保结构的安全,加强混凝土质量的监测和控制,成为当今建筑工程的重要研究课题之一
随着可持续发展战略的不断深化,国家针对各行各业的环保指标出台了一系列的限制标准,特别是对钢铁行业而言,对其进行大力的发展能够有效推动国家级经济建设的发展,但在其发展