在信息爆炸的互联网环境中,各个领域的数据和信息呈指数增长,从这些海量无规则数据和强干扰的信息中检索出有价值的数据具有重要的研究意义。海量数据导致通用搜索引擎对专业领域上查询的信息不够准确和全面,而用户对专业领域信息的需求却在与日俱增。对于招聘行业来说,具有可以快速检索招聘信息的垂直搜索引擎至关重要,因此,本文设计并实现了一个面向招聘行业的垂直搜索引擎。本文基于Scrapy-Redis实现分布式爬虫来为招聘信息垂直搜索引擎提供数据支持,通过对分布式爬虫框架的二次开发来实时抓取网络招聘信息,完成了招聘信息的高效采集和结构化信息的准确抽取。在研究爬虫框架源码后,对网页抓取过程中URL去重方法进行改进,通过集成自定义的布隆过滤器解决了原爬虫框架在抓取海量网页数据时内存占用过高的问题,实现了快速抓取海量招聘信息的功能。对于垂直搜索引擎,数据的快速存取和检索非常重要,本文对数据的存储选用了非关系型数据库HBase,并借助全文检索技术来弥补HBase对非主键字段的检索或者多条件的组合查询和模糊查询等方面的的不足。利用全文搜索引擎ES(Elasticsearch)为HBase构建二级索引来将索引和数据分离,借助ES完善的检索服务来实现用户多样化的查询。同时,为了给用户提供实时的检索服务,本文利用HBase的协处理器来将前面分离的数据与索引同步更新。目前数据库中已有千万级的职位数据并还在持续增长中,存储在HBase集群上的海量职位数据还可以用于大数据分析等领域。本文结合分布式爬虫框架、非关系型数据库HBase和全文搜索框架ES设计并实现了一个招聘信息垂直搜索引擎系统,给用户提供全文检索和高级检索两种方式来满足用户的不同检索需求,并提供数据可视化分析功能来帮助用户了解当前的招聘环境,提升用户的交互体验。通过功能测试和性能测试,该垂直搜索引擎可以提供多样化的查询服务和毫秒级别的响应时间。同时,系统的集群服务保证了系统具有良好的扩展性和较高的吞吐率。