百度公司是一家专注于搜索引擎和人工智能方向的大型企业。从最开始的搜索引擎主业,到后来业务向各个方面拓展,现在已有数万人的研发团队,作者所在的部门是质量工程中心,共有400人左右。作者的团队是涉及网络舆情数据和语料库方向的任务,专门负责爬虫技术方面的工作。该网络爬虫系统基于Scrapy框架,针对国内流行的即时消息网站微博和脉脉,同时结合作者所在部门的项目要求,用于高效地获取到网站的舆情语料数据,其中涉及了分布式爬虫、布隆过滤器算法、调度策略、反爬虫策略、Redis缓存、代理池服务、Cookies池服务以及模拟登录等关键技术,这些技术的应用显著地提升了爬取的性能。该系统主要分为中间件模块、实体管道模块、爬虫业务模块、调度器模块、代理池模块以及Cookies池模块六大部分。其中,中间件模块包括代理池中间件、UA中间件、Cookies池中间件、Retry中间件等,专门对请求对象进行处理。实体管道模块包括微博实体管道和脉脉实体管道两大部分,其主要功能包括字段信息定义、数据清洗、数据去重、格式化、存储到数据库等功能。爬虫业务模块包括模拟登录、Request请求、Response解析、数据对象创建、URL提取与请求构造等功能。调度器模块则实现了利用布隆过滤器算法和Redis缓存进行数据去重和共享调度队列的功能。此外,为了维护代理资源服务和Cookies资源服务并方便对接到代理池中间件和Cookies中间件,还设计并实现了代理池模块与Cookies池模块。本人在项目中完成了需求分析、概要设计、详细设计与实现的全部过程。这其中又包括中间件、爬虫业务、实体管道、调度器、代理池服务与Cookies池服务的绝大部分功能。经过测试发现,各个模块能够正常运行,并在给定的资源条件下,爬取效率得到了显著提高,达到了预期的多机分布式以及稳定爬取的功能。但仍然有需要提升的地方,有待在今后的目标中改进。