论文部分内容阅读
【摘 要】设计了基于调控云的电网调控数据纵向互联信息共享的系统。介绍调控云的建设情况，数据云平台的模型数据中心的建设情况，模型数据中心实现调控数据的结构化、规范化和标准化;采用Kafka消息中心实现调控数据信息的纵向互联和信息共享，最后对各级调控机构按订阅推送，保障了纵向和横向部门间的业务协同。目前该系统已应用于华中电网，推进了业务流程的交互，减轻了用户的工作量，提升了工作效率。
【关键词】調控云;数据云平台;数据结构化;纵向互联;Kafka消息总线
1、调控云平台
电力大数据综合了电力企业生产、运营和管理数据，调度控制云（以下简称“调控云”）是基于云计算、大数据等新兴技术的理念设计、面向智能电网调控业务的服务平台，具有“资源虚拟化、数据标准化、应用服务化”的特点。调控云作为电力生产控制类业务的底层技术基础，提供基础设施服务、运行环境支撑、模型数据服务等，为新一代调度控制系统分析决策中心的建设提供支撑，同时承载调控中心以及公司各部门的各类应用。
调控云是国家电网有限公司“三朵云”规划中的一个重要组成部分。为适应“统一管理、分级调度”的调度管理模式，调控云采用统一和分布相结合的分级部署设计，形成国分主导节点和各省级协同节点的两级部署，共同构成一个完整的调控云体系。主导节点和协同节点在硬件资源层面各自独立进行管理;在数据层面，主导节点作为调控云各类模型及数据的中心，负责元数据和字典数据的管理，并负责调控云各类数据的数据模型建立，以及国调和分中心管辖范围内模型及数据的汇集，协同节点负责本省模型及数据的汇集并向主导节点同步/转发相关数据;在业务层面，调控云作为一个有机整体，由主导节点基于全网模型，提供完整的模型服务、数据服务及业务应用，各协同节点基于本省完整模型及按需的外网模型提供相关业务服务
2、调控数据结构化管理
调控云软件架构按照云计算典型分层设计自下而上进行层次划分，包括IaaS层、PaaS层和SaaS层，并配置云安全防护功能。调控云平台服务层（PaaS）集成了调控云的核心组件，支撑应用运行所需的软件运行环境，相关工具与服务。
模型数据能够在数据的采集与汇聚、存储及使用与展示等多个方面对数据进行管理。模型数据支持关系数据库、列式数据库、实时数据库和MPP数据库，对结构化、半结构化、非结构化实时数据和非实时数据提供分布式存储与统一访问功能，支持多种类型的存储及访问方式进行数据存储中的业务数据操作，并提供统一数据服务，实现数据访问请求的处理。
2.1关系数据库：按照行进行存储，关系数据库擅长随机读操作，不适合用于大数据，主要用于数据访问实时性不高的场合，例如电网模型数据和统计信息等。
2.2列式数据库：数据表中同一列或相关列的数据会被组织存储在一起，这样既减少了查询操作时的I/O，也便于压缩，从而节省存储空间。列式存储适合于较低延迟的读写访问、高并发的访问请求。基于列存储的数据存储与管理装载速度快、易于压缩、易于做聚合分析，适宜于大数据规模下的统计、分析等应用功能。
2.3分布式实时数据库：基于内存进行存储，支持对实时数据的快速存储和访问，具备数据表的分片与多副本机制，提供高速的本地访问接口、远方服务访问接口，支持数据关系描述和检索，主要用于存储电网运行的实时信息。
2.4MPP数据库：采用sharednothing架构（MPP），数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据库服务。通过将数据分布到多个节点上来实现规模数据的存储，通过并行查询处理来提高查询性能。MPP数据库具有完全的可伸缩性、高可用、高性能、资源共享等优势。
2.5调控云模型数据层作为数据处理的中间层，提供统一的数据访问和分析接口，能让上层应用以统一的接口连接关系数据库、列式数据库、MPP数据库和实时数据库等不同的数据源。统一访问接口提供基于SQL的数据访问方式，实现对各种数据的统一访问，屏蔽数据存储的差异。
调控信息结构化、标准化、规范化是不同机构间、不同专业间业务系统数据交互的基础，保证了业务系统间数据交互质量和效率。调控数据结构化的实现保证了调控数据在结构和存储方式上的统一规范，避免了数据共享时结构不一致所造成的中间处理换件，为国调、分中心、省调（以下简称“国、分、省”）三级调控信息共享打下了坚实的基础。
3、调控数据信息的共享机制
目前，国分、分省协同平台通过小邮件方式实现数据信息共享，但存在丢失文件，数据传输不稳定，易被覆盖等问题。为实现各调控机构调控数据安全、可靠地交换和共享，提高数据共享的实时性和针对性，结合国分一体化数据模型中心和智能数据信息标准化的建设情况，以调控云总线作为数据同步和共享的中介，实现调控信息的共享。
云总线是由服务总线和消息总线构成的，服务总线为云端应用和客户端应用提供订阅/发布式的远程服务调用服务;消息总线实现云端、客户端之间的订阅/发布式的消息传输服务。
电力调度数据维护和共享遵循“源端维护、全局共享”的原则。基于Kafka原理，调控模型数据云中心的主导节点通过消息总线把数据下发给国分层源数据端和协同节点。当主导节点发布最新的元数据后，协同节点和源数据端自动验证是否可以执行，并将验证结果反馈给主导节点。源数据端与对应的云端、协同节点与主导节点通过消息总线实现模型数据汇集，实现纵向互联。同时，可将需要的模型数据从主导节点订阅到本地协同节点及本地源数据端。
调控云通过纵向同步软件的模型订阅/发布功能，为各级调控业务系统提供按需订阅模型数据服务，实现公共模型信息共享。各级调控利用纵向同步软件客户端可进行模型查询、筛选和订阅，后台数据同步功能依据订阅记录，实时监视增量变化数据，并利用消息总线作为传输通道，及时将增量数据分发给订阅者。
4、结束语
基于调控云平台的数据共享方案，在电网数据实现结构化管理的基础上，利用Kafka消息总线，实现国分、分省的数据之间主动推送和按需订阅的信息共享，提高了电网调控运行一体化管理水平，实现了与传统电网截然不同的电网运营理念和体系，加快了“信息电网，智慧电网”的前进步伐。国、分、省三级调控机构的运行数据在数据中心汇集，有利于推进业务流程的交互，减轻用户的工作量，极大地提升工作效率。电网调控数据纵向信息共享有效解决了分布式环境中异构系统的信息交互，保障了纵向和横向多级业务部门间的业务协同和信息共享，实现了电网的可靠、安全、经济、高效、环境友好的使用目标，开创电网“绿色、环保、节能”新局面。
参考文献：
[1]奚江惠，胡济洲，裘微江，等.大电网安全稳定沙盘推演系统[J].湖北电力，2016，40（01）：1-5，10
[2]辛耀中，石俊杰，周京阳，等.智能电网调度控制系统现状与技术展望[J].电力系统自动化，2015，39（1）：2-8.
[3]蔡德福，曹侃，唐泽洋，等.大数据技术在电力系统的应用[J].湖北电力，2016，40（06）：22-26.
（作者单位：国网太原供电公司）
【关键词】調控云;数据云平台;数据结构化;纵向互联;Kafka消息总线
1、调控云平台
电力大数据综合了电力企业生产、运营和管理数据，调度控制云（以下简称“调控云”）是基于云计算、大数据等新兴技术的理念设计、面向智能电网调控业务的服务平台，具有“资源虚拟化、数据标准化、应用服务化”的特点。调控云作为电力生产控制类业务的底层技术基础，提供基础设施服务、运行环境支撑、模型数据服务等，为新一代调度控制系统分析决策中心的建设提供支撑，同时承载调控中心以及公司各部门的各类应用。
调控云是国家电网有限公司“三朵云”规划中的一个重要组成部分。为适应“统一管理、分级调度”的调度管理模式，调控云采用统一和分布相结合的分级部署设计，形成国分主导节点和各省级协同节点的两级部署，共同构成一个完整的调控云体系。主导节点和协同节点在硬件资源层面各自独立进行管理;在数据层面，主导节点作为调控云各类模型及数据的中心，负责元数据和字典数据的管理，并负责调控云各类数据的数据模型建立，以及国调和分中心管辖范围内模型及数据的汇集，协同节点负责本省模型及数据的汇集并向主导节点同步/转发相关数据;在业务层面，调控云作为一个有机整体，由主导节点基于全网模型，提供完整的模型服务、数据服务及业务应用，各协同节点基于本省完整模型及按需的外网模型提供相关业务服务
2、调控数据结构化管理
调控云软件架构按照云计算典型分层设计自下而上进行层次划分，包括IaaS层、PaaS层和SaaS层，并配置云安全防护功能。调控云平台服务层（PaaS）集成了调控云的核心组件，支撑应用运行所需的软件运行环境，相关工具与服务。
模型数据能够在数据的采集与汇聚、存储及使用与展示等多个方面对数据进行管理。模型数据支持关系数据库、列式数据库、实时数据库和MPP数据库，对结构化、半结构化、非结构化实时数据和非实时数据提供分布式存储与统一访问功能，支持多种类型的存储及访问方式进行数据存储中的业务数据操作，并提供统一数据服务，实现数据访问请求的处理。
2.1关系数据库：按照行进行存储，关系数据库擅长随机读操作，不适合用于大数据，主要用于数据访问实时性不高的场合，例如电网模型数据和统计信息等。
2.2列式数据库：数据表中同一列或相关列的数据会被组织存储在一起，这样既减少了查询操作时的I/O，也便于压缩，从而节省存储空间。列式存储适合于较低延迟的读写访问、高并发的访问请求。基于列存储的数据存储与管理装载速度快、易于压缩、易于做聚合分析，适宜于大数据规模下的统计、分析等应用功能。
2.3分布式实时数据库：基于内存进行存储，支持对实时数据的快速存储和访问，具备数据表的分片与多副本机制，提供高速的本地访问接口、远方服务访问接口，支持数据关系描述和检索，主要用于存储电网运行的实时信息。
2.4MPP数据库：采用sharednothing架构（MPP），数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据库服务。通过将数据分布到多个节点上来实现规模数据的存储，通过并行查询处理来提高查询性能。MPP数据库具有完全的可伸缩性、高可用、高性能、资源共享等优势。
2.5调控云模型数据层作为数据处理的中间层，提供统一的数据访问和分析接口，能让上层应用以统一的接口连接关系数据库、列式数据库、MPP数据库和实时数据库等不同的数据源。统一访问接口提供基于SQL的数据访问方式，实现对各种数据的统一访问，屏蔽数据存储的差异。
调控信息结构化、标准化、规范化是不同机构间、不同专业间业务系统数据交互的基础，保证了业务系统间数据交互质量和效率。调控数据结构化的实现保证了调控数据在结构和存储方式上的统一规范，避免了数据共享时结构不一致所造成的中间处理换件，为国调、分中心、省调（以下简称“国、分、省”）三级调控信息共享打下了坚实的基础。
3、调控数据信息的共享机制
目前，国分、分省协同平台通过小邮件方式实现数据信息共享，但存在丢失文件，数据传输不稳定，易被覆盖等问题。为实现各调控机构调控数据安全、可靠地交换和共享，提高数据共享的实时性和针对性，结合国分一体化数据模型中心和智能数据信息标准化的建设情况，以调控云总线作为数据同步和共享的中介，实现调控信息的共享。
云总线是由服务总线和消息总线构成的，服务总线为云端应用和客户端应用提供订阅/发布式的远程服务调用服务;消息总线实现云端、客户端之间的订阅/发布式的消息传输服务。
电力调度数据维护和共享遵循“源端维护、全局共享”的原则。基于Kafka原理，调控模型数据云中心的主导节点通过消息总线把数据下发给国分层源数据端和协同节点。当主导节点发布最新的元数据后，协同节点和源数据端自动验证是否可以执行，并将验证结果反馈给主导节点。源数据端与对应的云端、协同节点与主导节点通过消息总线实现模型数据汇集，实现纵向互联。同时，可将需要的模型数据从主导节点订阅到本地协同节点及本地源数据端。
调控云通过纵向同步软件的模型订阅/发布功能，为各级调控业务系统提供按需订阅模型数据服务，实现公共模型信息共享。各级调控利用纵向同步软件客户端可进行模型查询、筛选和订阅，后台数据同步功能依据订阅记录，实时监视增量变化数据，并利用消息总线作为传输通道，及时将增量数据分发给订阅者。
4、结束语
基于调控云平台的数据共享方案，在电网数据实现结构化管理的基础上，利用Kafka消息总线，实现国分、分省的数据之间主动推送和按需订阅的信息共享，提高了电网调控运行一体化管理水平，实现了与传统电网截然不同的电网运营理念和体系，加快了“信息电网，智慧电网”的前进步伐。国、分、省三级调控机构的运行数据在数据中心汇集，有利于推进业务流程的交互，减轻用户的工作量，极大地提升工作效率。电网调控数据纵向信息共享有效解决了分布式环境中异构系统的信息交互，保障了纵向和横向多级业务部门间的业务协同和信息共享，实现了电网的可靠、安全、经济、高效、环境友好的使用目标，开创电网“绿色、环保、节能”新局面。
参考文献：
[1]奚江惠，胡济洲，裘微江，等.大电网安全稳定沙盘推演系统[J].湖北电力，2016，40（01）：1-5，10
[2]辛耀中，石俊杰，周京阳，等.智能电网调度控制系统现状与技术展望[J].电力系统自动化，2015，39（1）：2-8.
[3]蔡德福，曹侃，唐泽洋，等.大数据技术在电力系统的应用[J].湖北电力，2016，40（06）：22-26.
（作者单位：国网太原供电公司）