随着网络技术的发展,Web上的信息海量增加,人们对信息的需求也不断加大,使得专门负责Web信息采集的网络爬虫技术面临着巨大的挑战。单机的网络爬虫在很多情况下已经难当重任,分布式网络爬虫以其单机网络爬虫无法比拟的信息采集速度和规模,满足了人们日益增长的对Web信息面向用户的需求。分布式系统研究中最重要的是设计构架和关键技术的解决。在吸取了他人技术和经验的基础上,本文设计并描述了一个分布式网络爬虫的结构,其中包括硬件的构架和软件的模块划分。硬件部分由一台PC机做控制节点,N台PC机作爬行节点,在局域网中连接。软件部分又分为控制节点软件设计和爬行节点软件设计。然后本文描述了分布式系统的关键技术的解决方法。系统采用了二级哈希映射算法使分布式系统能高效的进行任务分割,使用消息通信使节点协同工作,用非阻塞套接字在节点间传递URL。最终实现了一个具备健壮性、可扩展性、可配置性的分布式网络爬虫系统,并就该分布式网络爬虫系统进行了仔细的剖析。