论文部分内容阅读
【摘 要】随着物联网、数据挖掘等技术的大力发展,电网实物资产全寿命周期管理模式和方法迎来新的发展方向。充分利用新技术,对电网资产进行统一的身份编码管理,提高电网实物资产管理精细度,提升资产管理效率和水平。借助对数据挖掘技术的研究,将数据挖掘技术应用到电网实物资产统一身份编码应用中,通过专业的数据存储和处理技术挖掘和整合实物资产全寿命周期数据,作用于实物资产管理业务监测、资产管理辅助决策等深化应用中。
【关键词】数据挖掘;电网实物资产;统一身份编码
引言
随着物联网、数据挖掘等技术的大力发展,电网实物资产管理迎来新的发展机遇。充分利用新技术,通过统一的身份编码对电网资产进行集中管理,提升电网资产管理效率和水平。
本课题开展电网资产统一身份编码的深化应用研究,以统一身份编码为纽带,从电网公司各专业部门实际需求出发,挖掘资产全寿命周期全业务、全过程数据,研究开展资产管理各关键基于统一身份编码的数据挖掘方法,实现数据融合贯通。充分利用信息化手段和数据资产,帮助实时监测各业务环节数据流转,实现专业深化应用、跨专业业务衔接,推动统一身份编码深化应用,促使资产基础数据质量显著提升、专业管控能力提档升级、本质安全管控基础有效夯实,全面提升资产管理精益化和智能化水平,为国家电网公司全面推广建设提供典型案例和实践范本。
1 数据挖掘技术
1.1数据挖掘的概念
数据挖掘(DM:Data Mining)是一项从数据库中智能地、自动地提取出有价值知识和信息的研究技术,是知识发现(KDD:Knowledge-Discovery in Data base)过程中的一个特定的关键步骤,是当前涉及人工智能和数据库等学科的一个相当活跃的研究领域。对数据挖掘比较公认的定义是:数据挖掘是指从大量数据中揭示出隐含的、前所未知的并具有潜在价值的信息,这些信息是人们感兴趣的知识,可表现为概念(Concepts)、规则(Rules)、规律(Regularities)和模式(Patterns)等形式。数据挖掘形成的数据资产,是每个现代化公司不断实现自我管理提升的核心能力之一。
1.2数据挖掘的处理过程
数据挖掘是一个循环的过程,每一个步骤都有2种可能的执行结果:如果执行通过,进入下一步,否则,返回到上一步。一般来说,数据挖掘过程可以分为以下几个主要步骤:
1)定义数据挖掘的主题。此步工作用于定义数据挖掘工作的方向,确定数据维度,将数据的存储角度从业务型向主题应用型转化。
2)设计数据模型。数据模型设计就是基于分析的应用主题,把业务数据转换成数据仓库的形式。本研究中主要用到星型和雪花型模型。
3)建立挖掘模型。建模是数据挖掘的核心步骤,需要反复验证,通过不断修改建模参数来确定最合理有效的模型。
4)结果发布。此步骤主要面向用户,是数据挖掘技术给用户的最直观感受,因此必须具备高易用性。
2 基于数据挖掘技术的实物资产统一身份编码应用
基于数据挖掘技术的电网实物资产统一身份编码深化应用,是指利用数据挖掘技术,结合以统一身份编码为桥梁,全面贯通电网资产全寿命周期数据的特点,全面分析和设计实物资产的数据模型,打破以往项目编码、物资编码和设备编码、资产编码的寻找对应关系的数据联通模式,借鉴身份管理模式,分阶段、分业务整合数据,分类构建基于统一身份编码的价值模型数据,完成对电网资产全寿命周期各阶段的数据挖掘和整合,为客户开展基于统一身份编码的全面深化应用提供方法论和数据支撑。
2.1 基于实物 “ID”数据挖掘过程
目前电网设备的数据分布于ERP、PMS 等多系统中,数据存储相对分散,标准不够统一。电网公司通过推动电网资产统一身份编码的建设,正构建以统一身份编码为基础的设备全过程数据。然而,仍存在电网资产整体赋码状况难以掌控;业务过程存在断链,统一身份编码信息在一些业务环节出现中断;现场贴码工作完成情况,目前无自动信息回报系统功能,只能通过人工汇报,没有形成统一的结构数据,无法形成闭环管理;基于统一身份编码采集的全过程信息利用率不高等问题,有必要借助数据挖掘等新技术,构建基于统一身份编码的设备运行监控统一数据中心,帮助实现电网实物资产分析工作更加科学化。
结合数据挖掘的处理过程,技术上将电网资产全寿命周期的数据源在逻辑层面从下到上分为:源数据层、数据仓库层、展现层三部分。支撑系统的三个逻辑分层之间存在着依赖关系,其中,展现层负责对电网设备全寿命周期数据仓库层处理完毕的数据进行综合展示,二者之间通过Web服务、消息、数据集成等方式进行交互;数据仓库层将位于源数据层的各个业务支撑系统中的数据按照业务主题进行分析汇总,计算各类指标,形成流程实例,为展现层提供分析结果;源数据层管理电网公司各个应用的数据,为数据仓库层提供业务明细数据,如下图2所示。
该数据中心的整体设计方案将用来满足以下的关键功能模块:存储数据、挖掘处理、展现支持,支撑后续大数据技术在电网实物资产管理上的拓展应用。具体的处理过程建议如下:
2.1.1源数据层构建
源数据层分两层设计,即ODS(Operational Data Store)和DW(Data Warehouse)/DM(Data Mart)层。实现对实物 “ID”各个价值模型数据的定义以及明细数据、聚合数据的存储。
2.1.2数据仓库层构建
整合电网公司各个业务应用系统数据,构建数据仓库,通过数据集成、应用集成和界面集成的方式,为运营监测业务提供数据支撑。源数据层的数据需要用ETL(Extract-Transform-Load)、BW等数据处理工具经过逻辑处理并加载到数据仓库层。结合电网公司的技术标准要求和信息化现在,需要利用SAP BW,实现对抽取SAP的数据的抽取;对于其他非SAP系统,利用可以Informatica等工具實现数据抽取。
2.1.3数据展现
基于实物 “ID”各个价值模型数据的挖掘和研究,最重要的目的是支撑和服务于业务管理。随着科技的进度,数据展现手段实现了多样化,可通过可视化大屏展现、桌面终端展现和移动终端展现等多种形式。将深化应用过程中所需的业务全面监测、运营分析、协调控制、全景展示和综合管理五部分数据与信息进行集中设计和展示。
综上,借助物联网和数据挖掘技术的支持,基于统一身份编码管理方式的推进,可以帮助电网公司快速精确数据采集。利用数据挖掘手段,帮助电网资产在完成采购、建设、检修、退役处置等业务后及时完成数据分类归集,确保账、物、信息的一致性、确保全过程数据贯通可视。在可预见的未来一段时间,构建电网实物资产计划决策库,为实现大数据在电网全息招标、智能运维、预测性检修以及智能制造等领域的广泛应用奠定基础,体现数据挖掘在电网资产统一身份编码应用中的的强大技术能量。
3 结语
目前预测型精益资产管理方法已经成为趋势,加强基础数据挖掘工作,运用大数据、物联网甚至人工智能等新技术来协助资产管理在所有的重资产行业中正成为有效的管理方式。目前我们国网江苏省电力公司利用数据挖掘技术,在实现电网资产管理信息化及数据化的工作中已经取得卓越的成绩。利用数据挖掘分析技术,一方面结合统一身份编码身份编码的应用,支撑了电网资产管理的物联化、智能化,另一方面帮助优化资产管理业务流程,将资产全寿命周期管理中的关键闸口往项目前期的控制点移动,极大的提高了资产管理的效果及效益,为构建全球一流的能源互联网企业开拓了新的思路。
参考文献:
[1]程子华,陈鹏良,张锐,何涛.基于“五位一体”的电网资产统一身份编码建设及应用[J].管理观察.2018(30)
[2]王永华,万频,邢延.基于4C/ID的智能电器课程教学设计[J].高教学刊.2016(16)
[3]谢晨野.关于电网企业应急管理工作的思考[J].中外企业家.2018(11)
[4]王瑞平,于晓淑.重大活动电网安全运行措施探究[J].中国电力企业管理.2018(17)
(作者单位:国网江苏省电力有限公司)
【关键词】数据挖掘;电网实物资产;统一身份编码
引言
随着物联网、数据挖掘等技术的大力发展,电网实物资产管理迎来新的发展机遇。充分利用新技术,通过统一的身份编码对电网资产进行集中管理,提升电网资产管理效率和水平。
本课题开展电网资产统一身份编码的深化应用研究,以统一身份编码为纽带,从电网公司各专业部门实际需求出发,挖掘资产全寿命周期全业务、全过程数据,研究开展资产管理各关键基于统一身份编码的数据挖掘方法,实现数据融合贯通。充分利用信息化手段和数据资产,帮助实时监测各业务环节数据流转,实现专业深化应用、跨专业业务衔接,推动统一身份编码深化应用,促使资产基础数据质量显著提升、专业管控能力提档升级、本质安全管控基础有效夯实,全面提升资产管理精益化和智能化水平,为国家电网公司全面推广建设提供典型案例和实践范本。
1 数据挖掘技术
1.1数据挖掘的概念
数据挖掘(DM:Data Mining)是一项从数据库中智能地、自动地提取出有价值知识和信息的研究技术,是知识发现(KDD:Knowledge-Discovery in Data base)过程中的一个特定的关键步骤,是当前涉及人工智能和数据库等学科的一个相当活跃的研究领域。对数据挖掘比较公认的定义是:数据挖掘是指从大量数据中揭示出隐含的、前所未知的并具有潜在价值的信息,这些信息是人们感兴趣的知识,可表现为概念(Concepts)、规则(Rules)、规律(Regularities)和模式(Patterns)等形式。数据挖掘形成的数据资产,是每个现代化公司不断实现自我管理提升的核心能力之一。
1.2数据挖掘的处理过程
数据挖掘是一个循环的过程,每一个步骤都有2种可能的执行结果:如果执行通过,进入下一步,否则,返回到上一步。一般来说,数据挖掘过程可以分为以下几个主要步骤:
1)定义数据挖掘的主题。此步工作用于定义数据挖掘工作的方向,确定数据维度,将数据的存储角度从业务型向主题应用型转化。
2)设计数据模型。数据模型设计就是基于分析的应用主题,把业务数据转换成数据仓库的形式。本研究中主要用到星型和雪花型模型。
3)建立挖掘模型。建模是数据挖掘的核心步骤,需要反复验证,通过不断修改建模参数来确定最合理有效的模型。
4)结果发布。此步骤主要面向用户,是数据挖掘技术给用户的最直观感受,因此必须具备高易用性。
2 基于数据挖掘技术的实物资产统一身份编码应用
基于数据挖掘技术的电网实物资产统一身份编码深化应用,是指利用数据挖掘技术,结合以统一身份编码为桥梁,全面贯通电网资产全寿命周期数据的特点,全面分析和设计实物资产的数据模型,打破以往项目编码、物资编码和设备编码、资产编码的寻找对应关系的数据联通模式,借鉴身份管理模式,分阶段、分业务整合数据,分类构建基于统一身份编码的价值模型数据,完成对电网资产全寿命周期各阶段的数据挖掘和整合,为客户开展基于统一身份编码的全面深化应用提供方法论和数据支撑。
2.1 基于实物 “ID”数据挖掘过程
目前电网设备的数据分布于ERP、PMS 等多系统中,数据存储相对分散,标准不够统一。电网公司通过推动电网资产统一身份编码的建设,正构建以统一身份编码为基础的设备全过程数据。然而,仍存在电网资产整体赋码状况难以掌控;业务过程存在断链,统一身份编码信息在一些业务环节出现中断;现场贴码工作完成情况,目前无自动信息回报系统功能,只能通过人工汇报,没有形成统一的结构数据,无法形成闭环管理;基于统一身份编码采集的全过程信息利用率不高等问题,有必要借助数据挖掘等新技术,构建基于统一身份编码的设备运行监控统一数据中心,帮助实现电网实物资产分析工作更加科学化。
结合数据挖掘的处理过程,技术上将电网资产全寿命周期的数据源在逻辑层面从下到上分为:源数据层、数据仓库层、展现层三部分。支撑系统的三个逻辑分层之间存在着依赖关系,其中,展现层负责对电网设备全寿命周期数据仓库层处理完毕的数据进行综合展示,二者之间通过Web服务、消息、数据集成等方式进行交互;数据仓库层将位于源数据层的各个业务支撑系统中的数据按照业务主题进行分析汇总,计算各类指标,形成流程实例,为展现层提供分析结果;源数据层管理电网公司各个应用的数据,为数据仓库层提供业务明细数据,如下图2所示。
该数据中心的整体设计方案将用来满足以下的关键功能模块:存储数据、挖掘处理、展现支持,支撑后续大数据技术在电网实物资产管理上的拓展应用。具体的处理过程建议如下:
2.1.1源数据层构建
源数据层分两层设计,即ODS(Operational Data Store)和DW(Data Warehouse)/DM(Data Mart)层。实现对实物 “ID”各个价值模型数据的定义以及明细数据、聚合数据的存储。
2.1.2数据仓库层构建
整合电网公司各个业务应用系统数据,构建数据仓库,通过数据集成、应用集成和界面集成的方式,为运营监测业务提供数据支撑。源数据层的数据需要用ETL(Extract-Transform-Load)、BW等数据处理工具经过逻辑处理并加载到数据仓库层。结合电网公司的技术标准要求和信息化现在,需要利用SAP BW,实现对抽取SAP的数据的抽取;对于其他非SAP系统,利用可以Informatica等工具實现数据抽取。
2.1.3数据展现
基于实物 “ID”各个价值模型数据的挖掘和研究,最重要的目的是支撑和服务于业务管理。随着科技的进度,数据展现手段实现了多样化,可通过可视化大屏展现、桌面终端展现和移动终端展现等多种形式。将深化应用过程中所需的业务全面监测、运营分析、协调控制、全景展示和综合管理五部分数据与信息进行集中设计和展示。
综上,借助物联网和数据挖掘技术的支持,基于统一身份编码管理方式的推进,可以帮助电网公司快速精确数据采集。利用数据挖掘手段,帮助电网资产在完成采购、建设、检修、退役处置等业务后及时完成数据分类归集,确保账、物、信息的一致性、确保全过程数据贯通可视。在可预见的未来一段时间,构建电网实物资产计划决策库,为实现大数据在电网全息招标、智能运维、预测性检修以及智能制造等领域的广泛应用奠定基础,体现数据挖掘在电网资产统一身份编码应用中的的强大技术能量。
3 结语
目前预测型精益资产管理方法已经成为趋势,加强基础数据挖掘工作,运用大数据、物联网甚至人工智能等新技术来协助资产管理在所有的重资产行业中正成为有效的管理方式。目前我们国网江苏省电力公司利用数据挖掘技术,在实现电网资产管理信息化及数据化的工作中已经取得卓越的成绩。利用数据挖掘分析技术,一方面结合统一身份编码身份编码的应用,支撑了电网资产管理的物联化、智能化,另一方面帮助优化资产管理业务流程,将资产全寿命周期管理中的关键闸口往项目前期的控制点移动,极大的提高了资产管理的效果及效益,为构建全球一流的能源互联网企业开拓了新的思路。
参考文献:
[1]程子华,陈鹏良,张锐,何涛.基于“五位一体”的电网资产统一身份编码建设及应用[J].管理观察.2018(30)
[2]王永华,万频,邢延.基于4C/ID的智能电器课程教学设计[J].高教学刊.2016(16)
[3]谢晨野.关于电网企业应急管理工作的思考[J].中外企业家.2018(11)
[4]王瑞平,于晓淑.重大活动电网安全运行措施探究[J].中国电力企业管理.2018(17)
(作者单位:国网江苏省电力有限公司)