论文部分内容阅读
摘 要：大数据为智能电网的发展注入新的活力，掌握电力大数据的关键技术对电力行业的可持续发展和坚强智能电网的建立具有重要意义。在分析大数據、云计算、智能电网三者关系的基础上，给出具有通用性的电力大数据平台总体架构，并从电力大数据的集成管理技术、数据分析技术、数据处理技术、数据展现技术4 个方面深入探讨符合电力企业发展需求的大数据关键技术的选择。最后通过3 个典型案例，分析了电力大数据关键技术在新能源并网、风电机组安全评估、电网灾难预警上的应用。大数据关键技术在电力行业的广泛应用必将带来行业的变革，将智能电网的发展推向新的阶段。
关键词：大数据；云计算；智能电网；数据集成；数据分析；数据处理；数据展现
引言
电力系统作为经济发展和人类生活依赖的能量供给系统，也具有大数据的典型特征。电力系统是最复杂的人造系统之一，其具有地理位置分布广泛、发电用电实时平衡、传输能量数量庞大、电能传输光速可达、通讯调度高度可靠、实时运行从不停止、重大故障瞬间扩大等特点，这些特点决定了电力系统运行时产生的数据数量庞大、增长快速、类型丰富，完全符合大数据的所有特征，是典型的大数据。在智能电网深入推进的形势下，电力系统的数字化、信息化、智能化不断发展，带来了更多的数据源，例如智能电表从数以亿计的家庭和企业终端带来的数据，电力设备状态监测系统从数以万计的发电机、变压器、开关设备、架空线路、高压电缆等设备中获取的高速增长的监测数据，光伏和风电功率预测所需的大量的历史运行数据、气象观测数据等。因此在电力系统数据爆炸式增长的新形势下，传统的数据处理技术遇到瓶颈，不能满足电力行业从海量数据中快速获取知识与信息的分析需求，电力大数据技术的应用是电力行业信息化、智能化发展的必然要求。
2 电力大数据的集成管理技术
电力企业数据集成管理技术是合并来自2 个或者多个应用系统的数据，创建一个具有更多能的企业应用的过程。从集成的角度来说，就是把不同来源、格式、特点、性质的数据在逻辑上或者存储介质上有机地集中，为系统存储一系列面向主题的、集成的、相对稳定的、反映历史变化的数据集合，从而为系统提供全面的数据共享。电力企业集成管理技术就是解决电力企业内部各系统间的数据冗余和信息孤岛而产生的。电力大数据的数据集成管理技术，包含关系型和非关系型数据库技术、数据融合和集成技术、数据抽取技术、过滤技术和数据清洗等[。大数据的一个重要特点就是多样性，这就意味着数据来源极其广泛，数据类型极为繁杂，这种复杂的数据环境给大数据的处理带来极大的挑战，要想处理大数据，首先必须对数据源的数据进行抽取和集成，从中提取出实体和关系，经过关联和聚合之后采用统一的结构来存储这些数据，在数据集成和提取时需要对数据进行清洗，保证数据质量及可靠性。
3 电力大数据的数据分析技术
大数据技术的根本驱动力是将信号转化为数据，将数据分析为信息，将信息提炼为知识，以知识促成决策和行动[12]。借助电力大数据的分析技术可以从电力系统的海量数据中找出潜在的模态与规律，为决策人员提供决策支持。麦肯锡认为可用于大数据分析的关键技术源于统计学和计算机科学等学科，包含关联分析、机器学习、数据挖掘、模式识别、神经网络、时间序列预测模型、遗传算法等多种不同的方法[19]。大数据研究不同于传统的逻辑推理研究，是对巨大数量的数据做统计性的搜索、分类、比较、聚类等的分析和归纳，因此继承了统计科学的一些特点，如统计学关注的数据相关性或称关联性，所谓“相关性”是指2 个或2 个以上变量的取值之间存在某种规律性。
4 电力大数据的数据处理技术
电力大数据的数据处理技术包括分布式计算技术，内存计算技术，流处理技术等，这3 种技术适用的对象和解决的主要问题如图5 所示。分布式计算技术是为了解决大规模数据的分布式存储与处理。内存计算技术是为了解决数据的高效读取和处理在线的实时计算。流处理技术则是为了处理实时到达的、速度和规模不受控制的数据。分布式计算是一种新的计算方式，研究如何将一个需要强大计算能力才能解决的问题分解为许多小的部分，然后再将这些部分分给多个计算机处理，最后把结果综合起来得到最终结果。分布式计算的一个典型代表是Google 公司提出的MapReduce 编程模型，该模型先将待处理的数据进行分块，交给不同的Map 任务区处理，并按键值存储到本地硬盘，再用Reduce 任务按照键值将结果汇总并输出最终结果。分布式技术适用于电力系统信息采集领域的大规模分散数据源。内存计算技术是将数据全部放在内层中进行操作的计算技术，该技术克服了对磁盘读写操作时的大量时间消耗，计算速度得到几个数量级的大幅提升。内层计算技术伴随着大数据浪潮的来临和内存价格的下降得到快速的发展和广泛的应用，EMC、甲骨文、SAT 都推出了内存计算的解决方案，将客户以前需要以天作为时间计算单位的业务降低为以秒作为时间计算单位，解决了大数据实时分析和知识挖掘的难题。流处理的处理模型是将源源不断的数据组视为流，当新的数据到来时就立即处理并返回结果，其基本理念是数据的价值会随着时间的流逝而不断减少，因此尽可能快地对最新的数据做出分析并给出结果，其应用场景主要有网页点击的实时统计、传感器网络、金融中的高频交易等。随着电力事业的发展，电力系统数据量不断增长，对实时性的要求也越来越高，将数据流技术应用于电力系统可以为决策者提供即时依据，满足实时在线分析需求。
5 电力大数据的数据展现技术
电力大数据的数据展现技术包括可视化技术、空间信息流展示技术、历史流展示技术等。可视化技术、空间信息流展示技术、历史流展示技术从3 个不同的方面诠释了电力大数据展现技术的丰富内涵。借助电力大数据的数据展现技术可帮助管理人员更直观、准确地理解电力系统数据表达的意义，了解电力系统的运行状态。可视化技术广泛应用于电网状态的实时监控，显著提高了电力系统的自动化水平。未来电力系统可视化还可结合复杂网络中的相关理论在电网自动分层分区、自动布点等方面展开深入研究，发掘电网更深层次的规律和联系。空间信息流展示技术主要体现在电网参数与已有地理信息系统的结合上，包含变电站三维展示、虚拟现实等技术。
结束语
本文阐述了电力大数据平台中4 个核心的关键技术，即集成管理技术、分析技术、处理技术、展现技术。大数据的集成管理技术应该考虑关系型和非关系型数据库技术的综合应用，并重点考虑NoSQL数据库技术；大数据的分析技术应从大数据的治理与抽样、大数据特征选择、大数据小数据化、大数据的分类算法、大数据挖掘并行化等方面开展研究；大数据的处理技术应根据具体的应用需求考虑分布式计算、内存计算、流处理等技术；电力大数据的数据展现技术可考虑可视化技术、空间信息流展示技术、历史流展示技术等。文章最后的典型应用案例，对电力企业开展相关研究具有参考价值。
参考文献：
[1] 张东霞，苗新，刘丽萍，等.智能电网大数据技术发展研究[J].中国电机工程学报，2015，35（1）：2-12.
[2] 罗军舟，金嘉晖，宋爱波，等.云计算：体系架构与关键技术[J].通信学报，2011，32（7）：3-21.
[3] 李志刚，朱志军.大数据：大价值、大机遇、大变革[M].北京：电子工业出版社，2012：182.
关键词：大数据；云计算；智能电网；数据集成；数据分析；数据处理；数据展现
引言
电力系统作为经济发展和人类生活依赖的能量供给系统，也具有大数据的典型特征。电力系统是最复杂的人造系统之一，其具有地理位置分布广泛、发电用电实时平衡、传输能量数量庞大、电能传输光速可达、通讯调度高度可靠、实时运行从不停止、重大故障瞬间扩大等特点，这些特点决定了电力系统运行时产生的数据数量庞大、增长快速、类型丰富，完全符合大数据的所有特征，是典型的大数据。在智能电网深入推进的形势下，电力系统的数字化、信息化、智能化不断发展，带来了更多的数据源，例如智能电表从数以亿计的家庭和企业终端带来的数据，电力设备状态监测系统从数以万计的发电机、变压器、开关设备、架空线路、高压电缆等设备中获取的高速增长的监测数据，光伏和风电功率预测所需的大量的历史运行数据、气象观测数据等。因此在电力系统数据爆炸式增长的新形势下，传统的数据处理技术遇到瓶颈，不能满足电力行业从海量数据中快速获取知识与信息的分析需求，电力大数据技术的应用是电力行业信息化、智能化发展的必然要求。
2 电力大数据的集成管理技术
电力企业数据集成管理技术是合并来自2 个或者多个应用系统的数据，创建一个具有更多能的企业应用的过程。从集成的角度来说，就是把不同来源、格式、特点、性质的数据在逻辑上或者存储介质上有机地集中，为系统存储一系列面向主题的、集成的、相对稳定的、反映历史变化的数据集合，从而为系统提供全面的数据共享。电力企业集成管理技术就是解决电力企业内部各系统间的数据冗余和信息孤岛而产生的。电力大数据的数据集成管理技术，包含关系型和非关系型数据库技术、数据融合和集成技术、数据抽取技术、过滤技术和数据清洗等[。大数据的一个重要特点就是多样性，这就意味着数据来源极其广泛，数据类型极为繁杂，这种复杂的数据环境给大数据的处理带来极大的挑战，要想处理大数据，首先必须对数据源的数据进行抽取和集成，从中提取出实体和关系，经过关联和聚合之后采用统一的结构来存储这些数据，在数据集成和提取时需要对数据进行清洗，保证数据质量及可靠性。
3 电力大数据的数据分析技术
大数据技术的根本驱动力是将信号转化为数据，将数据分析为信息，将信息提炼为知识，以知识促成决策和行动[12]。借助电力大数据的分析技术可以从电力系统的海量数据中找出潜在的模态与规律，为决策人员提供决策支持。麦肯锡认为可用于大数据分析的关键技术源于统计学和计算机科学等学科，包含关联分析、机器学习、数据挖掘、模式识别、神经网络、时间序列预测模型、遗传算法等多种不同的方法[19]。大数据研究不同于传统的逻辑推理研究，是对巨大数量的数据做统计性的搜索、分类、比较、聚类等的分析和归纳，因此继承了统计科学的一些特点，如统计学关注的数据相关性或称关联性，所谓“相关性”是指2 个或2 个以上变量的取值之间存在某种规律性。
4 电力大数据的数据处理技术
电力大数据的数据处理技术包括分布式计算技术，内存计算技术，流处理技术等，这3 种技术适用的对象和解决的主要问题如图5 所示。分布式计算技术是为了解决大规模数据的分布式存储与处理。内存计算技术是为了解决数据的高效读取和处理在线的实时计算。流处理技术则是为了处理实时到达的、速度和规模不受控制的数据。分布式计算是一种新的计算方式，研究如何将一个需要强大计算能力才能解决的问题分解为许多小的部分，然后再将这些部分分给多个计算机处理，最后把结果综合起来得到最终结果。分布式计算的一个典型代表是Google 公司提出的MapReduce 编程模型，该模型先将待处理的数据进行分块，交给不同的Map 任务区处理，并按键值存储到本地硬盘，再用Reduce 任务按照键值将结果汇总并输出最终结果。分布式技术适用于电力系统信息采集领域的大规模分散数据源。内存计算技术是将数据全部放在内层中进行操作的计算技术，该技术克服了对磁盘读写操作时的大量时间消耗，计算速度得到几个数量级的大幅提升。内层计算技术伴随着大数据浪潮的来临和内存价格的下降得到快速的发展和广泛的应用，EMC、甲骨文、SAT 都推出了内存计算的解决方案，将客户以前需要以天作为时间计算单位的业务降低为以秒作为时间计算单位，解决了大数据实时分析和知识挖掘的难题。流处理的处理模型是将源源不断的数据组视为流，当新的数据到来时就立即处理并返回结果，其基本理念是数据的价值会随着时间的流逝而不断减少，因此尽可能快地对最新的数据做出分析并给出结果，其应用场景主要有网页点击的实时统计、传感器网络、金融中的高频交易等。随着电力事业的发展，电力系统数据量不断增长，对实时性的要求也越来越高，将数据流技术应用于电力系统可以为决策者提供即时依据，满足实时在线分析需求。
5 电力大数据的数据展现技术
电力大数据的数据展现技术包括可视化技术、空间信息流展示技术、历史流展示技术等。可视化技术、空间信息流展示技术、历史流展示技术从3 个不同的方面诠释了电力大数据展现技术的丰富内涵。借助电力大数据的数据展现技术可帮助管理人员更直观、准确地理解电力系统数据表达的意义，了解电力系统的运行状态。可视化技术广泛应用于电网状态的实时监控，显著提高了电力系统的自动化水平。未来电力系统可视化还可结合复杂网络中的相关理论在电网自动分层分区、自动布点等方面展开深入研究，发掘电网更深层次的规律和联系。空间信息流展示技术主要体现在电网参数与已有地理信息系统的结合上，包含变电站三维展示、虚拟现实等技术。
结束语
本文阐述了电力大数据平台中4 个核心的关键技术，即集成管理技术、分析技术、处理技术、展现技术。大数据的集成管理技术应该考虑关系型和非关系型数据库技术的综合应用，并重点考虑NoSQL数据库技术；大数据的分析技术应从大数据的治理与抽样、大数据特征选择、大数据小数据化、大数据的分类算法、大数据挖掘并行化等方面开展研究；大数据的处理技术应根据具体的应用需求考虑分布式计算、内存计算、流处理等技术；电力大数据的数据展现技术可考虑可视化技术、空间信息流展示技术、历史流展示技术等。文章最后的典型应用案例，对电力企业开展相关研究具有参考价值。
参考文献：
[1] 张东霞，苗新，刘丽萍，等.智能电网大数据技术发展研究[J].中国电机工程学报，2015，35（1）：2-12.
[2] 罗军舟，金嘉晖，宋爱波，等.云计算：体系架构与关键技术[J].通信学报，2011，32（7）：3-21.
[3] 李志刚，朱志军.大数据：大价值、大机遇、大变革[M].北京：电子工业出版社，2012：182.