招标信息是互联网信息的一部分,该类信息对企业销售人员的投标决策发挥着重要作用,快速、有效、准确获得该类信息能够提高他们的工作效率。采用通用搜索引擎获得招标信息会产生返回结果多而有效信息少、返回信息不全面、存在二义性等缺点,垂直搜索引擎是面向专业领域搜索的解决方案,因此面向招标信息领域垂直搜索引擎成为企业销售人员的重要需求。搜索引擎中海量数据处理的关键问题是存储和高效计算。采用传统的集中式体系结构或分布式架构虽能解决存储和高效计算问题,但是其较高的经济成本不是任何企业都能接受的。基于Hadoop的分布式计算平台具有集群代价成本低、平台开源、强大的数据存储系统HDFS、高效的分布式编程模型MapReduce等优点,因此将Hadoop应用在垂直搜索引擎方面具有非常重要的研究价值。本文在实现整个搜索系统的过程中主要做了以下工作:(1)分析了系统的业务需求和功能需求,提出了系统的总体功能模块组成和基于Hadoop的系统整体架构。对于搜索引擎组成结构中的网络爬虫、索引器、检索器、用户接口也都提出了各子模块的组成架构。(2)研究了基于Hadoop的招标信息主题爬虫实现。提出了构建主题词库的基本方法并在此基础之上实现了基于招标信息词库字典的主题模型实现,结合Nutch开源框架和构建的词库字典主题模型完成了整个爬虫的流程分析和实现过程。(3)完成了网页解析、中文分词、基于Hadoop分布式索引器和检索器、用户接口的实现。在分布式索引器方面分析并完成了其最终目标和构建索引各阶段的实现过程;在检索器方面分析并完成了检索的基本流程和实现过程。(4)实现了搜索系统原型的开发和测试工作。对于提出的基于词库字典的主题模型进行了测试,实验证明该种模型能够达到较高的抓全率和抓准率。对于基于Hadoop的网络爬虫进行了可扩展性测试,实验证明随着节点数目的增加,网页抓取速率能够得到明显改善。