论文部分内容阅读
【摘 要】经济的发展，城市化进程的加快，人们对电能的需求也逐渐增加。前阶段内电力信息通信技术快速发展，尤其是随着相应运维监测与管理系统的完善，电力系统运维工作取得了良好进展。但综合实际情况来看，电力信息通信中并未形成完善的信息收集机制，在数据全面性、精准性等方面仍存在着一定的不足。
【关键词】电力通信;大数据;自动诊断;线性预测
引言
在大数据时代，随着电网信息系统架构的不断扩展，IT设备的数量越来越多，网络也变得更加复杂，信息通信系统中的状态数据、运行数据以及故障数据等体量越来越大，且具有典型的大数据特征，如果数据未经过处理，则对运维没有任何意义和价值。综合运用大数据采集技术、实时数据流处理技术、关联分析挖掘技术、状态评估技术、趋势预测及风险评估技术，建立科学的分析模型，实现信息通信风险态势全面感知、运维数据全面分析、运维风险实时预警，达到在故障发生前解决问题的主动运维效果，有助于提升信息通信故障监测和风险预警能力，对提高信息通信系统的安全性、稳定性及其服务能力具有重要的理论价值和实际意义。
1目前国内外的研究发展状况
相关的学术界讨论中，从互联网技术，生物医学和超级计算对大数据进行了专门的探讨和研究。在大数据应用相关应用领域，谷歌公司在2009年通过对人们网上搜索的内容和疾病中心的数据整体上进行整合分析，及时的找出了流感的传播来源，给公共卫生机构的工作提供了有利用价值的数据和信息;美国的俄州运输部运用INRIX的云计算对大数据进行分析处理来了解和处理恶劣天气的道路状况，降低了冬季发生连环撞车的概率，为人们的出行带来便利。大数据技s术进行了新技术和构架的相关描述，适用于经济的方式模式，对于技术进行高速的捕获和分析处理，从大规模的数据中进行价值的提取和运用。国外对大数据的研究工作主要集中对于大数据存储、处理分析和管理的相应技术和软件的运用方面。多年的研究发展后产生了优秀便捷的挖掘方法，其中常见有路径、关联、分类、聚类和统计的分析等。当前发展阶段的大数据平台以HADOOP为主，对于传统日志无法处理海量的分析数据进行解决，但HADOOP并不擅长实时的应用信息的处理，采取离线处理的模式。在HADOOP基础上的实时处理运用还比较少，采用流处理数据对日志数据进行处理是这个行业的未来发展方向。
2电力大数据的特点及面临的问题
当前，随着电力通信系统网络化建设和发展，电力大数据呈现指数级增长，并且具有数据量大、数据类型多、处理速度快、精确性高和价值大五大特征。同时，数据的采集、处理、应用等都要求完成数据的移动和存储，其实现的基本条件是电力系统网络化。但在当前网络架构下，大数据移动存储还面临如下挑战：（1）大容量问题。随着智能终端的普及，实时采集终端状态信息导致产生了大量的数据，每天的数据量达到TB量级，数据的存储面临重大挑战。（2）延迟问题。应用于实时问题分析时，大数据的分析诊断存在一定的滞后性，这种特性可能给实时数据分析应用带来不可估量的损失。（3）差异化问题。不同等级的业务需求所采集的数据信息不同，要求数据网络具备不同等级的服务功能，以保证重点用户或者关键节点的正常运行。
3电力信息通信风险预警技术
以Hadoop及Spark为例，该类大数据处理平台在近年来逐渐受到更广泛的应用，发展速度较快。其中Hadoop可以进行大规模集群操作，具有较强的便捷性，同时可增设不同数量的节点共同计算。且其计算速度并不会受到集群数量的减弱影响，相反，计算速度与集群数量呈正相关关系，以此有效弥补了传统系统处理数据中存在的不足。但相对而言，Hadoop在处理实时应用方面存在明显的劣势。而Spark作为一种通用并行计算框架，其产生与改进是以Hadoop为基础的，主要应用内存并行计算方式及流式处理技术，具备较好的实时处理性能。电力信息通信预警技术的应用过程中，相关技术人员通过构建电力信息通信大数据处理框架，对各类信息数据进行有效收集、整合、分析、管理。对应的日志收集板块主要负责收集来自各个系统的数据，包括网络日志、防火墙日志等。利用Hive技术创建业务分析模型，以此保证日志的多维度查询。经由数据存储层，对采集所得的数据进行一定的清洗及转换，并将其系统的存储与HDFS中，结合Sqoop将其导入Oracle内。而后根据具体分类情况，对现有日志进行合理分析。围绕日志关键词，以大数据技术为主要手段，对相应数据进行深度模式挖掘。并结合数据清洗、压缩归并等方式，实现系统指标、安全情况、运行状态的有效判定。
4自动预警诊断方法
4.1基于小区节点数据统计差异的故障诊断研究
小区节点直接与网络节点连接，网络节点实时将网络节点监测数据发送到小区节点中，检测数据主要包括节点电力负载、节点配电信息、节点状态信息。小区节点主要完成2个功能：一是数据的预处理与分类，为区域节点的数据分析提供基础;二是小区内网络节点的统计分析，实现网络节点的故障诊断。本文主要从以下3个角度开展诊断研究。（1）基于心跳分组的故障诊断：在网络系统中，心跳机制是网络终端定时发送一个自定义的心跳分组，让对方知道自己仍在工作，以确保连接的有效性的机制。基于上述原理，小区节点实时监测网络节点的心跳分组，统计一段时间内心跳分组数量，当心跳分组数量远低于正常数值时，表示网络节点中的设备断开连接或者出现故障，则推送告警信息，提示工作人员处理。（2）基于节点状态信息的故障诊断：节点状态数据包含了节点当前所处的状态，解析状态数据，实时分析统计设备状态信息数据。当状态出现异常时，统计数据背离正常值，诊断节点异常背离原因，告警工作人员。（3）基于电力数据差异的故障诊断：实际电力系统中，存在如下情况：网络节点心跳分组正常，系统状态信息正常，但系统配电信息与节点负载信息差异较大，则表示出现某种特殊耗电情况。基于上述原理，小区节点实时检测网络节点中配电数据与负载数据间的差异，当电力负载数据远低于配电数据（设计时考虑电力系统线路正常损耗）时，则推送告警信息，提示工作人员处理。
4.2大数据基础上的信息通信数据的相关处理
在数据处理框架中对各类日志进行集中的分析处理和管理工作，其中日志收集来自不同系统的日志、网络和防火墙日志等，采用Hive建立业务相关的分析模型，对日志的进行多维度的智能查询，进行数据的初步清洗工作。在数据存储层完成对数据的进一步清洗和转换，进行数据的分类处理，存储于HDFS中，利用SQOOP工具将数据从HDFS中导出到Oracle中。
4.3基于中心节点的动态电力资源分配与调度
中心节点具有较高的管理权限，属于控制中心节点;各区域节点根据电力负载预测情况，将电力负载请求信息发送给中心节点，中心节点根据各区域节点的需求动态配送电量。另外，设计时考虑各区域节点的优先级，并根据优先级配置供电权重，目的是在电量需求紧张时，优先保证优先级较高的区域节点的供电，最终实现动态电力资源调度与分配。
结语
综上所述，随着我国电网建设的不断完善，相应的信息化建设发挥出更大的作用。在此背景下，运维人员应对电力信息通信预警技术进行深入研究。及时发现并有效预警其中存在的隐患，进而形成良好的工作效果。
参考文献：
[1]周平.基于大數据平台的日志分析预警技术研究[J].电脑知识与技术，2016.
[2]付萍萍.以风险防控为中心的大型电网企业信息安全管理体系研究[J].电力信息与通信技术，2015.
（作者单位：深圳供电规划设计院有限公司）
【关键词】电力通信;大数据;自动诊断;线性预测
引言
在大数据时代，随着电网信息系统架构的不断扩展，IT设备的数量越来越多，网络也变得更加复杂，信息通信系统中的状态数据、运行数据以及故障数据等体量越来越大，且具有典型的大数据特征，如果数据未经过处理，则对运维没有任何意义和价值。综合运用大数据采集技术、实时数据流处理技术、关联分析挖掘技术、状态评估技术、趋势预测及风险评估技术，建立科学的分析模型，实现信息通信风险态势全面感知、运维数据全面分析、运维风险实时预警，达到在故障发生前解决问题的主动运维效果，有助于提升信息通信故障监测和风险预警能力，对提高信息通信系统的安全性、稳定性及其服务能力具有重要的理论价值和实际意义。
1目前国内外的研究发展状况
相关的学术界讨论中，从互联网技术，生物医学和超级计算对大数据进行了专门的探讨和研究。在大数据应用相关应用领域，谷歌公司在2009年通过对人们网上搜索的内容和疾病中心的数据整体上进行整合分析，及时的找出了流感的传播来源，给公共卫生机构的工作提供了有利用价值的数据和信息;美国的俄州运输部运用INRIX的云计算对大数据进行分析处理来了解和处理恶劣天气的道路状况，降低了冬季发生连环撞车的概率，为人们的出行带来便利。大数据技s术进行了新技术和构架的相关描述，适用于经济的方式模式，对于技术进行高速的捕获和分析处理，从大规模的数据中进行价值的提取和运用。国外对大数据的研究工作主要集中对于大数据存储、处理分析和管理的相应技术和软件的运用方面。多年的研究发展后产生了优秀便捷的挖掘方法，其中常见有路径、关联、分类、聚类和统计的分析等。当前发展阶段的大数据平台以HADOOP为主，对于传统日志无法处理海量的分析数据进行解决，但HADOOP并不擅长实时的应用信息的处理，采取离线处理的模式。在HADOOP基础上的实时处理运用还比较少，采用流处理数据对日志数据进行处理是这个行业的未来发展方向。
2电力大数据的特点及面临的问题
当前，随着电力通信系统网络化建设和发展，电力大数据呈现指数级增长，并且具有数据量大、数据类型多、处理速度快、精确性高和价值大五大特征。同时，数据的采集、处理、应用等都要求完成数据的移动和存储，其实现的基本条件是电力系统网络化。但在当前网络架构下，大数据移动存储还面临如下挑战：（1）大容量问题。随着智能终端的普及，实时采集终端状态信息导致产生了大量的数据，每天的数据量达到TB量级，数据的存储面临重大挑战。（2）延迟问题。应用于实时问题分析时，大数据的分析诊断存在一定的滞后性，这种特性可能给实时数据分析应用带来不可估量的损失。（3）差异化问题。不同等级的业务需求所采集的数据信息不同，要求数据网络具备不同等级的服务功能，以保证重点用户或者关键节点的正常运行。
3电力信息通信风险预警技术
以Hadoop及Spark为例，该类大数据处理平台在近年来逐渐受到更广泛的应用，发展速度较快。其中Hadoop可以进行大规模集群操作，具有较强的便捷性，同时可增设不同数量的节点共同计算。且其计算速度并不会受到集群数量的减弱影响，相反，计算速度与集群数量呈正相关关系，以此有效弥补了传统系统处理数据中存在的不足。但相对而言，Hadoop在处理实时应用方面存在明显的劣势。而Spark作为一种通用并行计算框架，其产生与改进是以Hadoop为基础的，主要应用内存并行计算方式及流式处理技术，具备较好的实时处理性能。电力信息通信预警技术的应用过程中，相关技术人员通过构建电力信息通信大数据处理框架，对各类信息数据进行有效收集、整合、分析、管理。对应的日志收集板块主要负责收集来自各个系统的数据，包括网络日志、防火墙日志等。利用Hive技术创建业务分析模型，以此保证日志的多维度查询。经由数据存储层，对采集所得的数据进行一定的清洗及转换，并将其系统的存储与HDFS中，结合Sqoop将其导入Oracle内。而后根据具体分类情况，对现有日志进行合理分析。围绕日志关键词，以大数据技术为主要手段，对相应数据进行深度模式挖掘。并结合数据清洗、压缩归并等方式，实现系统指标、安全情况、运行状态的有效判定。
4自动预警诊断方法
4.1基于小区节点数据统计差异的故障诊断研究
小区节点直接与网络节点连接，网络节点实时将网络节点监测数据发送到小区节点中，检测数据主要包括节点电力负载、节点配电信息、节点状态信息。小区节点主要完成2个功能：一是数据的预处理与分类，为区域节点的数据分析提供基础;二是小区内网络节点的统计分析，实现网络节点的故障诊断。本文主要从以下3个角度开展诊断研究。（1）基于心跳分组的故障诊断：在网络系统中，心跳机制是网络终端定时发送一个自定义的心跳分组，让对方知道自己仍在工作，以确保连接的有效性的机制。基于上述原理，小区节点实时监测网络节点的心跳分组，统计一段时间内心跳分组数量，当心跳分组数量远低于正常数值时，表示网络节点中的设备断开连接或者出现故障，则推送告警信息，提示工作人员处理。（2）基于节点状态信息的故障诊断：节点状态数据包含了节点当前所处的状态，解析状态数据，实时分析统计设备状态信息数据。当状态出现异常时，统计数据背离正常值，诊断节点异常背离原因，告警工作人员。（3）基于电力数据差异的故障诊断：实际电力系统中，存在如下情况：网络节点心跳分组正常，系统状态信息正常，但系统配电信息与节点负载信息差异较大，则表示出现某种特殊耗电情况。基于上述原理，小区节点实时检测网络节点中配电数据与负载数据间的差异，当电力负载数据远低于配电数据（设计时考虑电力系统线路正常损耗）时，则推送告警信息，提示工作人员处理。
4.2大数据基础上的信息通信数据的相关处理
在数据处理框架中对各类日志进行集中的分析处理和管理工作，其中日志收集来自不同系统的日志、网络和防火墙日志等，采用Hive建立业务相关的分析模型，对日志的进行多维度的智能查询，进行数据的初步清洗工作。在数据存储层完成对数据的进一步清洗和转换，进行数据的分类处理，存储于HDFS中，利用SQOOP工具将数据从HDFS中导出到Oracle中。
4.3基于中心节点的动态电力资源分配与调度
中心节点具有较高的管理权限，属于控制中心节点;各区域节点根据电力负载预测情况，将电力负载请求信息发送给中心节点，中心节点根据各区域节点的需求动态配送电量。另外，设计时考虑各区域节点的优先级，并根据优先级配置供电权重，目的是在电量需求紧张时，优先保证优先级较高的区域节点的供电，最终实现动态电力资源调度与分配。
结语
综上所述，随着我国电网建设的不断完善，相应的信息化建设发挥出更大的作用。在此背景下，运维人员应对电力信息通信预警技术进行深入研究。及时发现并有效预警其中存在的隐患，进而形成良好的工作效果。
参考文献：
[1]周平.基于大數据平台的日志分析预警技术研究[J].电脑知识与技术，2016.
[2]付萍萍.以风险防控为中心的大型电网企业信息安全管理体系研究[J].电力信息与通信技术，2015.
（作者单位：深圳供电规划设计院有限公司）