论文部分内容阅读
随着能源互联网进一步发展,大量分布式能源的异地生产使能源的协调控制更加依赖多个复杂网络,这些异构网络在自身运营或与其他网络交互过程中产生的数据量越来越大,数据汇集成的大数据流不断趋于多维和复杂化。在能源互联网一体化机制下,即使是一些微小的数据异常也有可能带来不利影响,异常检测对实时性的要求越来越高。针对能源互联网数据特点构建高效的大数据流处理模型,对大数据流异常检测方法进行研究具有重要意义。本文深入分析能源互联网的数据来源、数据特点,以此设计能源互联网大数据流异常检测架构,同时整合日志收集系统Flume、消息订阅系统Kafka和实时处理引擎Spark Streaming,构建能源互联网的大数据采集和预处理策略、异常检测的大数据作业调度策略,在此基础上开展用户异常用电检测和多能扰动异常检测研究。用户异常用电检测采用核主成分分析方法对高维数据进行降维,在并行框架中实现对异常数据实时检测。基于核主成分分析算法原理,提出基于集群模式的降维异常检测方法,该方法首先将能源互联网高维大数据流表征为向量,设置异常阈值,构建异常检测模型。通过模拟数据采集、实时推送数据过程,配置实时计算任务,进行数据流实时处理集群性能实验,并以TEP数据集为例对集群模式下的降维异常检测方法进行验证。最后,利用该方法提取能源互联网用户用电负荷数据特征,对提取特征进行降维分析,检测用户异常用电情况。多能扰动异常检测主要包括扰动信号特征提取,对特征进行分类两部分。针对能源互联网的数据特点,建立扰动异常信号数学模型,利用小波变换对扰动异常信号进行分解。在特征提取部分,基于滑动窗口概要结构构建能源互联网大数据流处理模型,该模型改进小波树更新算法,能实现概要结构快速更新,加快特征提取速度;在特征分类部分,采用决策树分类算法构建分类树,根据分类树及分类规则对扰动信号进行分类。算例部分利用本文构建的大数据流处理模型对电能质量扰动和燃气质量扰动进行在线检测,以验证该数据流处理模型的有效性。