论文部分内容阅读
本文以作者工作所在单位的实际信息化建设项目为背景撰写,作者所在单位主要分管该省工业发展,是工业领域主要职能单位,为方便后续介绍,作者单位统称为某省部门。作为该省工业经济职能管理部门,业务涉及面广、业务数据复杂、繁琐,各部门重复采集同一数据的情况比较普遍,内部管理系统没有统一规划,使大量数据不能科学使用,给报送企业增加了负担,同时也无法提升自身行政效能,部门现有的应用平台架构陈旧,虽然数据量较大,但不具备数据交换和分析能力,直接将各个系统通过统一软件重组目前的实现成本非常高,无异于重新开发。为解决此问题,本文从业务使用角度进行工业数据信息化平台的整体设计,通过大数据的方法实现平台整体设计功能,具体研究工作如下:(1)基于政务云平台总体架构设计为适应政务部门业务应用平台集中发展的趋势,平台依托政府信息化云服务平台的IaaS、PaaS的技术规则进行设计,包含数据采集、数据存储、数据分析展示、数据资源门户四个层面,框架内每部分的数据、系统功能的建设,均确保与政府信息化建设规划一致,为平台的长期持续运行提供保障。(2)基于ETL等工具的工业数据交换采集平台设计该平台设计时除整合部门内部系统运行数据,还将统计部门以及互联网等具有可靠来源的数据集中到统一平台,通过运用ETL等工具开发WebService适配器,建立一套完整的三方渠道数据采集分析信息化平台,避免自身采集数据不及时、不准确的问题,也能最大限度的挖掘数据的可用性。(3)基于分布式存储应用的工业数据存储计算平台的设计该模块为本系统核心模块,可实现文件分布式存储技术,利用分布式计算框架,使用集群资源,实现计算任务的分布式执行,具有分布式数据收集组件,支持从关系数据库系统、文件系统、日志等多种源采集数据,非结构化数据实现分布式的采集、聚合及传输,关系型数据可通过JDBC接口,实现从RDBMS与HDFS/Hive的传输。(4)基于BI软件的工业数据分析展示系统的设计工业数据分析展示系统使用BI系统软件、数据挖掘工具等,将数据成果可视化,支持内各部门专题数据统计分析,有效利用数据资源,避免重复投资建设。通过对省内工业经济运行数据监测分析,判断其发展态势,提升预测预警、信息发布和信息引导能力,通过数据分析,挖掘工业经济数据背后潜在应用价值。通过该平台,该省部门初步实现了部门内部和相关部门的数据整合,可以将整体态势和部分分析结果做集中展示,可将数据自由组合导出,具备初步的分析能力,提高了部门内部数据的使用效率,为各级领导在决策时提供准确、高效的数据支撑,为企业的生产经营做出参考依据,为行业发展提供有效保障,增强了政府部门的决策水平,同时服务了企业,实现了平台设计初衷。