近年来，随着互联网的蓬勃发展，互联网信息产生了爆炸性的增长。对互联网用户来说一个很重要的问题就是如何才能快速的找到用户想要的网页内容。信息增长的速度越快，用户的这种需求就越迫切。搜索引擎的出现很大程度上方便了用户快速获取信息的需求，本文围绕搜索引擎，对搜索引擎的重要组成部分—爬虫系统中的相关技术与算法进行了研究与论述。爬虫系统的主要工作就是下载互联网网页为搜索引擎提供数据支持，为了获取网页，爬虫系统首先需要维护一个初始的待抓取队列，依次对队列中的网页进行抓取，同时提取网页中新链接，放到待抓取队列中，一直循环执行，直到待抓取队列为空。本文的研究内容主要有以下几个方面：(1)通过对网络爬虫所涉及技术以及算法的分析，提出了一个通用的并行网络爬虫的系统CWebSpider，并对其内部实现框架进行了深入详细的论述。(2)对CWebSpider爬虫系统涉及到的抓取算法、调度算法以及抽取算法等做了深入的论述，并结合数据结构与伪代码给出了CWebSpider系统在Linux平台下的详细实现。(3)对于CWebSpider中的抓取算法，将抓取器设计为网络层和应用层，并对各层之间的实现进行了很多优化，提高了系统的抓取效率以及可扩展性。对于CWebSpider中的调度算法，本文设计出了一种基于OPIC算法改进之后的算法，有效提高了重要度高的网页优先抓取的机会。对于CWebSpider中的爬虫系统的不重复抓取算法，实现了自行设计的布隆过滤器方法判重，大大节省了内存空间以及判重效率。(4)对CWebSpider系统抓取性能进了详细评测，并对实验结果进行了分析，对下一步工作进行了简单的展望。