论文部分内容阅读
摘 要:本文基于小数据治理的视角,通过分析具有多年系统建设经验的传统制造业的数据管理现状,提出企业构建完整的数据全生命周期管理机制的方法和策略,从而为探索提高企业数据治理效率提供指导方向。
关键词:制造业;数据治理;探析
1 背景
数据治理指的是将数据看作重要的战略资源和商业资产进行应用和管理。
在大数据和工业4.0时代,数据治理已成为企业实现智能决策的重要基础。对于目标是要构建智能工厂的工业企业来说,面向大数据、做实小数据,史无前例的迫切和关键。只有预先打好数据治理的根基,在企业内部建立起一套完备的数据治理机制,才能为企业未来应用数据进行统计分析、预测决策提供有效的助力。另一方面,随着企业内部信息化技术手段的不断推进,其所能获得的数据量呈级数增长趋势,自然而然的导致许多数据问题浮出水面,例如怎样甄别现有数据的数据质量?在获得有价值的数据之后,如何对这些数据进行考核管理?数据的一致性标准管理是否会影响数据质量?对于全套的数据全生命周期管理机制,是不是应当有一套数据管理流程辅以管理?数据配套管理组织又该如何设置?
本文将以一家纯制造型的工业公司L为研究对象,分析工业企业数据治理的现状和问题,并 给出相应的解决对策。
2 企业数据治理策略:建立数据全生命周期治理机制
数据全生命周期治理机制由一套管理规范与执行办法组成,包含数据质量、数据职责、数据安全和数据标准四个领域的内容,对数据进行数据创建、数据使用、数据归档和数据销毁的全生命周期治理。
2.1数据治理流程和组织架构设计
首先,结合L公司现状制定符合公司需求的数据生命周期阶段。将公司整体数据管理分为三大阶段:业务规划定义阶段、应用设计实现阶段、数据生命周期管理阶段,其中数据生命周期又可分为四个阶段:数据创建、数据使用、数据归档和数据销毁。每一阶段都包含了数据质量、数据职责、数据安全和数据标准四个领域工作的不同侧重点。在数据创建阶段,利用数据模型保证数据完整,执行数据标准保证数据准确,加入数据质量检查创建准确,保证数据在合理的系统生成;在数据使用阶段,利用数据标准保证数据准确,利用数据质量检查加工准确,确保数据在合理的系统使用,控制数据的派生;在数据归档阶段,利用评估手段保证归档时机,分数据类型归档数据;在数据销毁阶段,利用评估手段保证销毁时机,分数据类型销毁数据。
其次,梳理数据全生命周期治理流程、规范数据使用,包括数据从录入到销毁的一系列过程,具体可分为数据录入和修改、数据提取、数据归档和数据销毁这四大流程,并初步确定数据治理部门的类型和职责:数据提供部门、数据运维部门、数据管理部门等。正确而有效的数据治理流程,有助于企业会在完善和准确的数据基础上做出恰当的决策。
最后,对数据治理具体的组织架构和岗位职责进行规划和设计。从整体上来说,数据治理组织架构的职责包括管理业务数据(如核心业务数据、公共代码、KPI等)的内容,为业务数据的质量与安全要求创建标准和遵循标准所必须的政策,设计数据职责管理和考核办法,并监测正在进行的数据管理行为等。根据前述的公司数据治理现状,将L公司的数据治理组织分为常设组织和虚拟组织两部分,常设组织包括数据全生命周期管理委员会和数据全生命周期管理办公室,虚拟组织包括数据标准管理小组、数据质量管理小组、数据安全管理小组。其中,数据全生命周期管理委员会担任了日常运营管理的职责,具体职责包括全面组织协调全公司数据全生命周期管理工作,对重要问题进行把关和决策;负责审核数据全生命周期管理的规范等;定期听取数据全生命周期管理的工作情况汇报,对数据全生命周期管理工作进行指导等。数据治理组织是数据治理配套机制中最重要的因素,没有人才的支撑,企业的数据决策将无力实现。
2.2数据质量管理办法
数据质量管理办法主要是以公司的业务需求为指导,制定数据质量要求及评价指标,建立一套科学的、适合公司业务环境的数据质量考核管理体系,对数据产生部门上报的数据进行评分,并生成考核报告进行公布,从而达到数据质量的持续改进。它包含9个工作步骤:需求分析、确定数据范围、明确负责人、定义质量要求、定义评价指标、审核定义内容、发布定义内容、维护质量管理和考核。通过数据质量管理办法,在公司內部达成一致的数据质量要求及评价指标,设计了完善的数据质量考核流程,有助于持续提升数据质量。
2.3数据职责管理办法
数据职责管理办法的第一步是对所获数据的数据职责进行分类,第二步是将分类好的数据职责与岗位职责说明书相结合进行具体的定义和说明。
首先,通过统计数据项清单或者业务建模的方法对底层业务数据进行归整。然后导出数据职责方案,该方案包括数据描述(所属批次、数据分类、数据名称)、数据现状(数据接触方式、数据记录方式)、数据存储方案(缺失数据改善、数据存储载体)、数据职责方案(数据职责分类、数据责任人、数据准确性要求、数据及时性要求、数据完整性要求、数据质量反馈要求),其中对数据进行描述完成了数据项的规整,数据职责分类完成了对人、人机结合、系统的职责进行规整,并且该方案还对数据职责进行了准确性、及时性、完整性的具体梳理。最后,根据数据职责方案,结合L公司的岗位职责说明书和已有的业务流程,形成X部门X岗位数据职责说明手册。以生产数据为例,该手册选择产前、产中和产后作为多个业务节点的分割点,在每个业务节点设置三项说明:产生数据(说明该业务节点所产生的的数据项)、数据维护(承接上述三类数据职责说明数据维护的方式)、数据质量(分别说明准确性、及时性和完整性三个方面的数据职责内容)。
2.4数据安全管理办法
数据安全管理办法主要是对公司内以各种形式存在的业务数据,按照其业务敏感性定义的一套数据安全等级制度和相应的数据使用授权机制。它包含9个步骤:需求分析、确定数据范围、明确负责人、定义安全分级、定义安全级别、审核定义内容、发布定义内容、维护安全分级与授权管理和申请授权。通过数据安全管理办法,结合业务应用目标,利用具体的数据申请授权机制以达到保护数据的目的。
3 综述
未来企业,数据必将成为一个核心竞争点,谁能把数据用的更好更精,谁将能获取更多的生存机会。然而数据治理是个系统工程,不是一朝一夕的事,需要企业借用各方资源和力量,进行系统的、全面的规划、实施、评估和验证,获取最大利用价值,协助企业不断向前发展。
关键词:制造业;数据治理;探析
1 背景
数据治理指的是将数据看作重要的战略资源和商业资产进行应用和管理。
在大数据和工业4.0时代,数据治理已成为企业实现智能决策的重要基础。对于目标是要构建智能工厂的工业企业来说,面向大数据、做实小数据,史无前例的迫切和关键。只有预先打好数据治理的根基,在企业内部建立起一套完备的数据治理机制,才能为企业未来应用数据进行统计分析、预测决策提供有效的助力。另一方面,随着企业内部信息化技术手段的不断推进,其所能获得的数据量呈级数增长趋势,自然而然的导致许多数据问题浮出水面,例如怎样甄别现有数据的数据质量?在获得有价值的数据之后,如何对这些数据进行考核管理?数据的一致性标准管理是否会影响数据质量?对于全套的数据全生命周期管理机制,是不是应当有一套数据管理流程辅以管理?数据配套管理组织又该如何设置?
本文将以一家纯制造型的工业公司L为研究对象,分析工业企业数据治理的现状和问题,并 给出相应的解决对策。
2 企业数据治理策略:建立数据全生命周期治理机制
数据全生命周期治理机制由一套管理规范与执行办法组成,包含数据质量、数据职责、数据安全和数据标准四个领域的内容,对数据进行数据创建、数据使用、数据归档和数据销毁的全生命周期治理。
2.1数据治理流程和组织架构设计
首先,结合L公司现状制定符合公司需求的数据生命周期阶段。将公司整体数据管理分为三大阶段:业务规划定义阶段、应用设计实现阶段、数据生命周期管理阶段,其中数据生命周期又可分为四个阶段:数据创建、数据使用、数据归档和数据销毁。每一阶段都包含了数据质量、数据职责、数据安全和数据标准四个领域工作的不同侧重点。在数据创建阶段,利用数据模型保证数据完整,执行数据标准保证数据准确,加入数据质量检查创建准确,保证数据在合理的系统生成;在数据使用阶段,利用数据标准保证数据准确,利用数据质量检查加工准确,确保数据在合理的系统使用,控制数据的派生;在数据归档阶段,利用评估手段保证归档时机,分数据类型归档数据;在数据销毁阶段,利用评估手段保证销毁时机,分数据类型销毁数据。
其次,梳理数据全生命周期治理流程、规范数据使用,包括数据从录入到销毁的一系列过程,具体可分为数据录入和修改、数据提取、数据归档和数据销毁这四大流程,并初步确定数据治理部门的类型和职责:数据提供部门、数据运维部门、数据管理部门等。正确而有效的数据治理流程,有助于企业会在完善和准确的数据基础上做出恰当的决策。
最后,对数据治理具体的组织架构和岗位职责进行规划和设计。从整体上来说,数据治理组织架构的职责包括管理业务数据(如核心业务数据、公共代码、KPI等)的内容,为业务数据的质量与安全要求创建标准和遵循标准所必须的政策,设计数据职责管理和考核办法,并监测正在进行的数据管理行为等。根据前述的公司数据治理现状,将L公司的数据治理组织分为常设组织和虚拟组织两部分,常设组织包括数据全生命周期管理委员会和数据全生命周期管理办公室,虚拟组织包括数据标准管理小组、数据质量管理小组、数据安全管理小组。其中,数据全生命周期管理委员会担任了日常运营管理的职责,具体职责包括全面组织协调全公司数据全生命周期管理工作,对重要问题进行把关和决策;负责审核数据全生命周期管理的规范等;定期听取数据全生命周期管理的工作情况汇报,对数据全生命周期管理工作进行指导等。数据治理组织是数据治理配套机制中最重要的因素,没有人才的支撑,企业的数据决策将无力实现。
2.2数据质量管理办法
数据质量管理办法主要是以公司的业务需求为指导,制定数据质量要求及评价指标,建立一套科学的、适合公司业务环境的数据质量考核管理体系,对数据产生部门上报的数据进行评分,并生成考核报告进行公布,从而达到数据质量的持续改进。它包含9个工作步骤:需求分析、确定数据范围、明确负责人、定义质量要求、定义评价指标、审核定义内容、发布定义内容、维护质量管理和考核。通过数据质量管理办法,在公司內部达成一致的数据质量要求及评价指标,设计了完善的数据质量考核流程,有助于持续提升数据质量。
2.3数据职责管理办法
数据职责管理办法的第一步是对所获数据的数据职责进行分类,第二步是将分类好的数据职责与岗位职责说明书相结合进行具体的定义和说明。
首先,通过统计数据项清单或者业务建模的方法对底层业务数据进行归整。然后导出数据职责方案,该方案包括数据描述(所属批次、数据分类、数据名称)、数据现状(数据接触方式、数据记录方式)、数据存储方案(缺失数据改善、数据存储载体)、数据职责方案(数据职责分类、数据责任人、数据准确性要求、数据及时性要求、数据完整性要求、数据质量反馈要求),其中对数据进行描述完成了数据项的规整,数据职责分类完成了对人、人机结合、系统的职责进行规整,并且该方案还对数据职责进行了准确性、及时性、完整性的具体梳理。最后,根据数据职责方案,结合L公司的岗位职责说明书和已有的业务流程,形成X部门X岗位数据职责说明手册。以生产数据为例,该手册选择产前、产中和产后作为多个业务节点的分割点,在每个业务节点设置三项说明:产生数据(说明该业务节点所产生的的数据项)、数据维护(承接上述三类数据职责说明数据维护的方式)、数据质量(分别说明准确性、及时性和完整性三个方面的数据职责内容)。
2.4数据安全管理办法
数据安全管理办法主要是对公司内以各种形式存在的业务数据,按照其业务敏感性定义的一套数据安全等级制度和相应的数据使用授权机制。它包含9个步骤:需求分析、确定数据范围、明确负责人、定义安全分级、定义安全级别、审核定义内容、发布定义内容、维护安全分级与授权管理和申请授权。通过数据安全管理办法,结合业务应用目标,利用具体的数据申请授权机制以达到保护数据的目的。
3 综述
未来企业,数据必将成为一个核心竞争点,谁能把数据用的更好更精,谁将能获取更多的生存机会。然而数据治理是个系统工程,不是一朝一夕的事,需要企业借用各方资源和力量,进行系统的、全面的规划、实施、评估和验证,获取最大利用价值,协助企业不断向前发展。