基于Lucene的二手汽车交易信息垂直搜索引擎的研究与实现

被引量 : 0次 | 上传用户:yinhuali
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的飞速发展,网络上的资源呈爆发性增长状态。为了在互联网上检索海量数据,各种通用搜索引擎应运而生。但通用搜索引擎也存在不足,主要表现是它返回的结果并未根据用户的特点和领域进行优化,无法精确检索结构化数据。垂直搜索引擎的出现改变了上述情况,它是搜索引擎的细分和延伸。垂直搜索引擎专注于某一特定领域,将网页中的非结构化数据进行结构化抽取,并将数据进行合并和索引处理,形成结构化的数据,提高精确检索的准确率。当前互联网上有很多二手汽车交易网站,但这些网站比较分散,用户要获取完整精确的二手汽车交易信息比较困难。为了解决以上问题,在剖析了Lucene的相关技术基础上,本论文提出了相应的解决方法及系统架构,设计并实现了“基于Lucene的二手汽车交易信息垂直搜索引擎”。本文完成的主要工作如下:①介绍了本文的选题背景及国内外的研究现状,比较了垂直搜索引擎与通用搜索引擎的异同之处。②研究了搜索引擎的经典算法,包括PageRank算法,HITS算法,给出了Spider抓取任务划分和防止系统“主题漂移”的方案。③对隐藏网页查询接口进行了分析,实现了隐藏网页的抓取。④对多种结构的网站进行了格式划分,按照分类给出了不同格式网站的抓取算法;并基于正则表达式,实现了二手汽车交易信息结构化的抽取;同时还讨论了系统数据进行增量更新的多种机制。⑤对开源全文索引库Lucene进行了研究,对Lucene的倒排序索引方法、索引建立模式、索引存储组织形式、索引的检索机制进行了剖析。⑥研究了经典向量空间模型(VSM),引入了二手汽车交易信息各属性的权值,实现了推荐相似二手汽车交易信息的功能。⑦遵循软件工程的标准方法,对系统进行了需求分析,构建了二手汽车交易信息垂直搜索引擎的系统架构,完成了系统的数据统一和数据库设计。对系统的各功能模块进行了详细设计,并基于Visual Studio 2005开发平台实现了该系统。
其他文献
日益增长的网络安全威胁促使各种安全防御机制应运而生,这些安全机制都需要分析网络数据流,以发现恶意行为和有害信息。网络犯罪手段的多样化和复杂化,使得数据流分析必须采
背景与目的:血液透析能使终末期肾脏疾病患者躯体状况得到实质性改善,起到延长生命之功效。然而,大量研究发现,长期血液透析患者不良情绪反应发生率高,并发症多,其中抑郁情绪
随着经济市场化和全球化的发展,国内医药市场呈现出日益复杂而多变的竞争格局,处于医药行业的东药集团供销公司(以下简称GX公司)面临多方位的竞争挑战。如何应对国内外竞争对
工程量清单计价是一种科学、合理的工程造价计价方式,其科学性、先进性和严谨性已在很多发达国家和地区的工程实践中所证实。工程量清单计价与长期以来我国实行的定额计价方
在当前全球化和信息化的背景下,如何有效地评价代表新经济模式的互联网企业绩效,对于政府制定相关政策以推动和引导现代信息服务业的健康发展,具有很强的时代意义。互联网企
有效的在线学习评价是保证在线学习质量的重要因素,通过内容分析的方法,对在线学习中学习评价的研究进行综述归纳,试图找出目前在线学习评价方面的研究热点,倡导"以评促学"的
在社会转型的特殊时期,离异已不是城市所特有的现象,在我国农村离异家庭正在以很快的速度发展开来,同时离异家庭子女也在逐步增多,因此父母离异后给子女带来的身心伤害也应该
目的观察胸腺五肽治疗带状疱疹患者的治疗效果。方法选取2006年7月—2009年7月在我科就诊的符合入选条件的带状疱疹患者102例,随机分成2组,治疗组52例,对照组50例。2组患者均
意识形态对文学翻译的影响由来已久,近年来,诸多中外学者都对这一问题进行了探讨。但是人们对意识形态的影响颇有扩大化、绝对化和泛化的趋势,意识形态的确对翻译有着深远的
改革开放以来,我国经济和社会取得了较大的发展,大城市数量不断增加,同时,城市公共交通问题也开始出现。城市公共交通不仅影响城市发展,也是衡量城市公共服务水平的重要指标