随着互联网规模的不断扩大,云计算、大数据的快速发展,互联网资源的不断增多,搜索引擎在信息检索方面起着关键性的作用,在日常生活中人们已经离不开搜索引擎,搜索引擎能够为人们快速准确地提供所需要的信息。网络爬虫作为搜索引擎的关键组成部分,直接影响着搜索引擎的性能。本文基于Hadoop平台设计并实现了一个分布式网络爬虫系统。本文基于Hadoop分布式平台、Hbase列式数据库、Storm实时处理平台以及网络爬虫的基本原理,结合用户关于网络爬虫的实际需求,明确网络爬虫系统实现的总体目标、功能以及性能需求,设计出基于Hadoop的分布式网络爬虫系统架构。根据各个模块的功能以及MapReduce计算框架的特点对每个模块进行基于MapReduce计算框架的算法设计以及实现,在抓取任务模块和解析页面模块将抓取状态、解析状态实时写入到Kafka消息队列,基于Storm平台实时计算相关指标结果。最后搭建Hadoop分布式平台和Storm实时处理平台对本文所实现的分布式网络爬虫系统进行测试。本文所实现的网络爬虫系统具有以下特点:将网络爬虫的抓取任务通过MapReduce分布式计算框架实现,从而将爬虫任务并行化;将抓取到的数据存储到Hbase分布式数据库中,从而将数据均匀分布到各个节点上,并提高了数据读写速度;引入Storm实时计算平台,实时统计网络爬虫运行过程中产生的相关指标。本文网络爬虫系统将抓取到的页面内容存储到Hbase数据库中,解决了以往分布式网络爬虫将页面内容存储到HDFS文件系统中读写速度慢的问题,相对于单节点网络爬虫性能得到显著提高,并支持可扩展性。