近几十年来,随着科学技术与信息化的迅猛发展,人类在学习、工作、生活中积累的数据量十分庞大,对于数据的采集、存储和传播的需求量也日益剧增。但在获取数据时,由于这些数据在格式、内容、质量上存在着巨大差异,数据的流动与共享存在着巨大的困难,为了让更多的人可以更加方便地获取数据,减少他们在采集数据时花费的时间、经济、体力成本,实现数据共享就十分重要。本文提出的基于ETL的数据集成平台就是用设计ETL流程的方式将数据根据用户需求进行抽取、转换和加载以达到数据共享的目的。传统的数据集成系统通常都存在不易用、操作门槛高、没有工作流特性、不能进行灵活地调度、部署、监控和其他管理功能的缺点。本文提出的数据集成系统旨在解决传统数据集成系统存在的主要问题。首先,针对易用性及操作门槛高的问题,本系统采用TWaver框架用流程图式的图形化工具,用拖、拉、拽的方法快速、灵活地设计ETL过程。再者,针对工作流问题,本系统通过设计任务与作业来实现ETL过程的工作流特性,任务包括一个完整的ETL过程,而作业由一个或多个任务组成,通过执行作业来控制任务执行的先后顺序。然后,针对ETL过程的调度问题,本文着重介绍了使用Quartz调度框架来调度作业,由于Quartz只能进行单任务调度不能进行任务链式调度即作业调度,本系统借助任务监听器来解决此问题,同时为满足用户对于作业的多种复杂调度需求,本系统使用Quartz对作业进行实时、定时以及时间间隔循环调度。最后,针对管理问题,本系统通过设计任务管理、作业管理、监控管理、审计信息、资源配置和系统管理六个模块对任务信息、作业信息、作业运行信息、用户操作信息、数据源信息、执行器信息、用户信息、角色信息、权限信息进行统一管理。基于ETL的数据集成平台是一个以设计、部署、调度、监控和管理ETL过程为核心功能的应用系统,用户可以借助该系统快速、灵活地设计ETL过程,并且能够方便地进行调度、部署、监控等管理活动。该系统提供了一种简单的方法设计ETL流程,支持对ETL流程的复杂调度,对于调度过程也提供快速、直观地监控,对于数据集成的一体化管理有着很大的意义。