伴随着计算机、通信、网络等技术的成熟和广泛应用,互联网自1989年诞生以来得到了迅猛发展,已经成为现代人类社会信息资源的一个重要组成部分,在全球范围内越来越多的信息实体开始选择互联网为其主要载体。如何帮助用户快速找到需要的信息,成为互联网研究中一项重要的课题。为了帮助互联网用户有效地通过互联网检索信息,一种称之为搜索引擎的网络信息检索工具应运而生,为用户及其所需信息之间架起了一座沟通的桥梁。而网络爬虫作为搜索引擎核心部分,为搜索引擎的功能实现奠定了基石。本文设计并实现了一个基于Map/Reduce：分布式计算模型)并行计算模型的并行网络爬虫,实现了负责任务分配的Master模块,以及负责执行网页抓取任务的Worker模块,在Worker模块中实现了通用的Crawler模块,设计了DNS缓冲结构,并且为了提高网页抓取的效率,加入了URL消重功能。本文首先介绍了HTTP协议,HttpClient组件的功能,URL消重,DNS缓冲策略等相关知识。其次介绍了本文用到的并行计算技术,并对并行网络爬虫系统的各个重要组成部分所实现的功能进行了分析与设计,最后对网页URL消重算法和并行爬行效率分别进行性能测试。测试结果说明本文所设计的并行爬虫系统有较好的爬行性能。最后对并行网络爬虫做了总结和展望。