随着互联网的快速发展,网上的信息也成几何级数爆炸增长,同时用户对信息的需求也越来越高,他们希望搜索引擎提供最新的数据,最符合要求的信息。传统网络爬虫作为提供搜索引擎原始信息的最基本途径,其性能已经几乎达到瓶颈,逐渐无法适应新型的网络应用需要。本文研究了现有的网络爬虫模型及其目前的研究方向,介绍了各种对传统网络爬虫的改进方法,并对各种方法的优缺点进行了详尽的分析,总结了爬虫面临的主要挑战,如网页更新收录慢,网站访问压力大,无法处理多媒体文件等。为解决这些问题,本文提出一种基于P2P的被动式爬虫系统,从根本上摒弃了传统爬虫的工作模式,它通过客户端-服务器模式由网站推送数据,搜索引擎只负责接收,并且借助于智能体技术和P2P传输,提高了搜索引擎原始网页获取能力。该被动式爬虫分为爬虫客户端和爬虫服务器两部分,其主要功能有:客户端和服务器相互发现及注册,客户端监视网站目录更新,客户端预处理数据并安排传输时间,客户端与服务器数据传输。本文在全能体技术平台的层次架构、通信方式等相关技术基础上,设计并实现了整个P2P被动式爬虫系统。该系统运用XML定义设备及文件的描述,通过单播技术实现了站点发现及注册方法,采用分块的方法实现了文件的传输,在现有的BitTorrent协议基础上提出一种适用于本系统的改进的片段选择算法。通过对实验结果的分析,系统很好的完成了设计目的。本系统采用的P2P被动式爬虫结构占用系统资源少,网站更新收录快,网站访问压力小,数据传输效率高。