大数据和移动互联网时代,数据来源繁多,数据量巨大,数据处理的复杂度越来越高。数据处理中各种任务的调度对整体性能和资源的利用有重大影响。本文从X公司的实际项目需求出发,利用Zoo Keeper、Redis、HDFS等技术,实现了一个分布式的任务调度系统。本文的研究内容主要为两个方面:1)探索行业内任务调度方面的核心需求,总结提炼,指导Bu ffalo调度系统功能的开发;2)以前人任务调度的研究为基础,从具体的实践需求出发,提出合适的实现方案,保证任务得到高效调度的同时,硬件资源得到有效利用。本文的主要贡献有:1)实现调度系统的核心调度逻辑,可以支持复杂的DAG流程调度,每一种任务都可以设置优先级,统一按照优先级依次调度;2)设计调度系统的整体架构,可以做到调度系统本身的平台与业务代码完全分离,从而支持多种计算框架任务的运行,比如Map Reduce、Spark以及Storm等;3)优化调度系统的性能,支持大量高并发任务按照计划有序执行,并且当任务量井喷时,可以动态水平扩展调度系统的服务器,从而在保证不停机的情况下增加任务吞吐量;4)提供界面友好的监控系统,包括任务监控、服务监控以及日志查看等基本功能。项目实际效果表明,该调度系统可以完成X公司的日常数据处理任务的调度需求,并且支持十万级任务的高并发调度。目前系统已经上线运行几个月,并逐渐成为其他有相似需求的企业大数据平台解决方案的重要组成之一。