如今,云计算已成为未来发展的重要趋势之_。目前,世界上各大IT公司如Google、IBM、微软、亚马逊等纷纷搭建了自己的“云计算平台”。鉴于此,实验室也制定了长期“云计算”研究计划,积极尝试开发自己的“云平台工作环境”,其主要建立在Apache开源项目Hadoop的基础之上。本项目是该长期计划的一部分,目的是在Hadoop分布式文件系统HDFS以及分布式计算框架MapReduce的基础上开发“分布式搜索引擎”。本文正是在此基础上,探讨了搜索引擎的爬虫部分,即基于分布式计算框架的分布式爬虫。本文具体研究工作包括云计算、Hadoop分布式平台、网络爬虫原理三个主要部分。在云计算部分,本文从云计算体系结构出发,探讨了云计算服务层次和技术层次。接着,针对技术基础Hadoop分布式平台,本文对其两大核心技术分.布式文件系统HDFS和分布式计算框架MapReduce进行了深入研究。与此同时,本文讨论了搜索引擎的基本技术和网络爬虫的基本原理,并对分布式爬虫的技术原型Nutch进行了剖析。在研究工作的基础上,本文提出了分布式爬虫的具体设计方案,确定了分布式爬虫的系统布局、模块划分以及分布式爬虫的流程控制和功能实现。基于此,本文对分布式爬虫的数据存储方式和数据格式信息进行了设计,并完成了爬虫各分模块具体类的实现。最后,在实验室大规模集群的基础上,对该爬虫系统进行了功能测试、可扩展性测试和性能测试。在这些测试数据的基础上,本文对该系统的优点和缺点进行了详细分析,并对工作进行了总结和展望。