论文部分内容阅读
研究了Lucene搜索引擎框架在烟草行业的信息获取和搜索方面的系统应用。如何在异构的海量数据中获取与烟草行业相关的数据是实现烟草行业信息化管理技术的一个重要分支。通过对不同文件格式的数据处理、烟草行业相关站点的数据抓取、搜索引擎创建和数据检索四个模块框架来实现系统。Web页面基于Heritrix烟草信息数据抓取，其中的非结构化数据或者半结构化数据和不同的文件格式通过Tika工具统一转为为文本，通过Lucene对结构化和非结构化数据创建索引以实现数据检索，由此实现烟草信息搜索引擎系统的实现。