随着信息化社会的发展以及企业业务水平的不断提高,决策支持系统已经难以继续为管理者提供有效的支持,所以随之而来的商业智能分析系统具有非常重要的应用价值。它从大量数据中获取有效的信息,帮助用户全方位的了解业务情况,进而做出明智的、可付诸实践的决策,让业务更加高效、快速地运转。目前市场上的商业智能分析系统普遍侧重于数据的抽取、转换和加载,即ETL(Extract-Transform-Load)处理或者自助式报表分析,致使其开发过程中涉及的工具较多,无法进行统一的管理。同时在实际应用中单一工具存在一定的局限性,例如kettle工具缺乏监控运维服务,且不支持kerberos认证,无法接入开启了该认证的大数据集群,这在一定程度上为开发人员的工作增加了难度。为了解决上述问题,本文设计了基于大数据技术的商业智能分析系统。在该系统中,本人主要参与了kettle ETL平台、数据挖掘、报表平台、数据源管理和权限管理功能的设计与研发工作,并采用前后端分离技术将界面展示和业务逻辑处理进行有效解耦。其中,kettle ETL平台通过拖拽和组件配置的方式完成了数据的转换处理操作,并实现了kerberos认证支持、任务调度和监控管理功能。数据挖掘模块主要根据数据仓库的客户流失主题,采用随机森林、XGBoost(e Xtreme Gradient Boosting)等算法实现了流失预测模型的构建,并使用K-means算法对客户进行群体细分,结合流失因素分析和群体特征对潜在流失的客户给出相应的客户关怀。报表平台主要负责数据的可视化过程,包括数据建模、多维分析和数据报表定制。权限管理提供了数据的安全保障,其主要负责系统资源的分配和控制,包括角色管理、菜单栏管理和权限控制三个模块。系统研发过程主要基于Spring Boot框架,将My SQL和分布式文件系统HDFS(Hadoop Distributed File System)作为数据存储工具,并使用Apache Kylin等工具完成数据计算,最终采用微服务架构将各个功能集为一体,为用户提供一站式的应用服务,提高了统计分析的工作效率。目前本系统已初步上线,运行状况较好。该系统底层接入了公司的大数据平台,数据的处理和分析都在该平台下完成,因此系统的运行效率相较于之前提高了约10倍;同时该系统将kettle ETL、数据挖掘和可视化分析无缝结合,进而可以更便捷的完成数据的处理和分析展示过程。