近几年来,大数据已经渗透到人类生活的方方面面。随着移动互联网和物联网的发展,我国大数据产业的发展也进入爆发期,大数据已经上升为国家战略。大数据处理系统也有了更多样的业务需求,导致支撑大数据处理的各项技术逐步走向成熟。把不同的技术融合成一个大型的大数据处理系统,这样的系统架构在实际生产中得到了广泛应用。但是其学习成本和维护成本非常高,同一个开发者很难维护和扩展这么多复杂技术融合而成的系统。针对以上问题,结合课题组的项目,本文设计并实现了支持工作流的实时大数据处理系统。本文首先研究了mxGraph框架的组织结构和底层实现原理,将其与Web技术结合,搭建了支持工作流的大数据管理平台。在此基础上,总结了大数据处理关键技术Flume、Kafka的相关配置和Spark Streaming的工作原理,部署了大数据处理系统。最后将可视化信息管理平台与大数据处理系统结合在一起,实现了支持工作流的实时大数据处理系统。系统设计的核心功能体现在可以通过支持工作流的大数据管理平台实现大数据处理的可视化配置。将大数据处理系统的配置信息统一提取出来,交由大数据管理平台统一配置管理。大数据管理平台使用XML格式的数据传递配置信息,配置信息通过校验后,可以在数据库中进行读写,也可以写入大数据处理系统的配置文件。通过可视化配置,将工作流程组织成符合逻辑和规则的大数据处理流程,控制大数据处理系统在计算机中以恰当的方式实施大数据处理。开发者只需要学习大数据处理技术的原理,掌握大数据处理技术平台的配置参数和简单的数据流向,就可以轻松实现实时数据处理业务。本文解决了开发系统难度大和维护成本高的问题,同时系统可扩展性好,而且针对每个大数据处理系统的每个步骤,都可以有实时反馈信息。