论文部分内容阅读
随着大数据时代的到来,大数据、云计算由于其技术的先进性,越来越被企事业单位所重视,因此,搭建自己的大数据云平台也成为了各企事业单位的首选。国税总局为了充分利用大数据的数据分析能力和云计算的资源共享能力,而搭建了总局自己的大数据云平台,并在该平台上开发了大数据分析系统。由于该系统要处理的数据量过于庞大,并且数据资源种类繁多,所以,急需建设数据治理平台来对这些数据进行管理工作,因此,数据治理平台的设计与实现被提上了工作日程。数据治理平台主要包括三个应用功能和一个数据服务功能。数据服务功能由元数据采集与服务功能模块组成,主要是在运行在后台,做数据加工、处理的工作。三个应用功能包括数据资产管理功能模块、数据安全管理功能模块、数据质量管理功能模块。数据资产管理功能模块是对大数据分析系统中的数据资源进行管理并展示,同时也对大数据分析系统的数据加工情况进行监控的模块。数据安全管理功能模块是对大数据分析系统的数据进行安全方面的管理,包括对敏感数据进行安全级别定义和监控应用功能访问记录等安全相关的管理工作。数据质量管理功能模块是对大数据分析系统的数据加工过程中,可能出现的数据质量方面的问题,例如数据加工口径与应用口径不一致,数据加工质量低等问题,进行监控和管理的功能模块。由三个应用功能和一个数据服务功能构成的数据治理平台,和大数据分析系统是相辅相成、互利共生一样的关系。数据治理平台从技术上对大数据分析系统进行监控和管理,同时也减轻了用户对于数据治理工作的劳动强度。本课题重点对数据治理平台建设过程中的系统需求确定,各项技术的选择和系统的实现进行了全方位的阐述和总结。本课题在需求分析和系统概要设计阶段,采用面向对象的思想,结合各种系统和网络架构,对数据治理平台进行设计。在系统详细设计阶段根据相关业务来设计系统应用功能,并根据相关应用功能进行数据库的设计工作。在系统开发阶段,采用JavaEE和MySQL数据库等技术,利用统一研发规范准则开展软件开发工作,保障了系统代码的统一性、可读性、易扩展性和可维护性。在系统的测试阶段,依据各项测试原则,充分利用各种测试规则,对应用功能进行测试,确保了系统在上线后能够稳定、高效、安全的运行。经过长达一年的研发与设计,数据治理平台已经同大数据分析系统一同上线运行。由数据治理平台保障的大数据分析系统,在上线运行后,系统运行情况稳定,数据加工、处理高效,系统环境安全可靠。满足了总局各司局领导及各业务管理人员的工作需要,为税务征管工作提供了可靠的决策支持。