随着云计算技术的飞速发展,为大数据处理提供一种高效可管理应用方案的挑战应运而生。基于云计算的大数据处理难点在于数据量大,数据来源广泛,数据结构多样化,本文通过分析现有云计算应用场景工作流系统存在的问题,调研多种大数据处理实际生产环境,设计实现了一种学习成本低、可扩展性强以及调度性能优异的工作流系统。本文系统克服了传统工作流系统中流程定义语言过于复杂的设计缺陷,突破工作流任务类型和新技术支持的约束,并对工作流调度性能瓶颈创新型提出了一种基于资源感知的工作流调度策略,使本文系统在异构集群情景中仍具有良好的调度性能,提高集群利用率。根据系统功能、性能的详细需求分析,本文设计简洁的工作流定义语言,支持多种工作流任务类型并提供了任务类型可扩展接口。解析工作流、执行工作流和自动化调度工作流是工作流系统的基本功能。本文通过解析工作流任务文件,得到工作流任务定义与依赖关系,并根据任务依赖依次执行,实现了任务节点与工作流的完整生命周期。系统为执行失败的任务设置重试机制,最大限度保证工作流成功执行。在实现工作流执行功能的基础上设计实现自动化调度工作流功能,按照用户设置调度时间与周期定时执行工作流任务。本文创新型地提出了一种基于资源感知的调度策略,使用过滤模型和比较模型将调度需求转换成为求解最优执行服务器的问题。通过执行服务器模型定义集群中运行状态迥异的计算节点,将其影响执行能力相关的属性作为过滤模型和比较模型的决定因素。利用过滤模型筛选出所有当前状态下活跃节点中符合执行条件的执行服务器,将其作为比较模型的候选执行服务器。根据比较模型定义比较规则,对所有候选执行服务器一一进行比较,选出得分最高的执行服务器作为调度最优解。