近些年来,百度作为全球最大的中文搜素引擎,拥有数千亿的中文网页数据库,每天的访问流量已经非常庞大。然而,随着互联网的蓬勃发展,用户的搜索产品也不断地变得丰富。为了帮助每年在中国新诞生的数百万个网站的推广,借助百度超大流量的平台优势,利用网络爬虫抓取互联网上的优质资源,聚合为百度内部各个产品线的线上内容,为注册用户提供聚合资源服务,是百度在当今互联网时代的核心产品战略。目前,百度在国内外部署了几十台Linux机器来完成每天数十亿的抓取量,如此巨大的抓取规模如果没有一个健壮的调度系统来指挥,必然会导致负载难以均衡而时常宕机。为此,我们开发了百度分布式抓取平台调度系统,促进抓取工作平台化,为百度内部各个产品线提供抓取服务。本文主要围绕百度分布式抓取平台调度系统的设计与实现,展开以下的工作:(1)介绍本项目所涉及的任务调度算法、一致性哈希与虚拟节点、磁盘缓存与冗余备份等技术,并分析了它们的优缺点。(2)通过分析项目的基本需求,提出并对项目的总体设计思路进行了概述,对项目模块进行了划分,重点分析了各个模块的设计思路。简要地对系统的总体架构进行了分层设计并阐述了各个层次的功能。(3)在需求分析与总体设计的基础上,重点阐述了系统请求转发模块、链接调度与压力控制模块、用户管理模块、任务管理与调度的具体实现。