随着企业信息化程度的提高,商务数据在企业经营和发展过程中起到的作用愈发突出,如何有效整合数据并加以利用,进而创造出更多的商业价值是所有企业共有的课题。为了解决这一问题,江苏易天集团计划研发一套企业自用的数据管理系统,系统将各部门的商务数据集成汇总,并在此基础进行统计分析和数据挖掘,为企业决策提供数据支持。本文主要论述易天数据管理系统数据集成和数据分析模块的实现。数据管理系统基于B/S模式进行开发,系统服务端采用标准的分层架构,并提供RES Tful风格的接口供前端调用。数据集成模块负责将需求方不同部门的数据集成到系统中,本文对数据读取过程进行抽象,并通过策略模式实现了对不同数据源不同格式数据的支持。数据分析模块负责对系统集成的数据进行分析,本文基于SparkSQL和MLlib实现了基于SQL的查询分析和基础的数据挖掘分析,并通过策略模式和Java反射机制实现了对用户自定义脚本的支持,允许用户创建自己的分析模板,提高了系统的可拓展性。此外本文还设计并实现了任务模块和数据集模块等基础服务模块,分别负责系统定期任务的调度和系统数据访问的控制。目前系统已交付需求方进行试验性部署,总体运作良好,可以按照设计完成数据集成和数据分析任务,达到了预期目标。