能源互联网大数据流异常检测方法研究

来源 :华北电力大学 | 被引量 : 0次 | 上传用户:allench9484
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着能源互联网进一步发展,大量分布式能源的异地生产使能源的协调控制更加依赖多个复杂网络,这些异构网络在自身运营或与其他网络交互过程中产生的数据量越来越大,数据汇集成的大数据流不断趋于多维和复杂化。在能源互联网一体化机制下,即使是一些微小的数据异常也有可能带来不利影响,异常检测对实时性的要求越来越高。针对能源互联网数据特点构建高效的大数据流处理模型,对大数据流异常检测方法进行研究具有重要意义。本文深入分析能源互联网的数据来源、数据特点,以此设计能源互联网大数据流异常检测架构,同时整合日志收集系统Flume、消息订阅系统Kafka和实时处理引擎Spark Streaming,构建能源互联网的大数据采集和预处理策略、异常检测的大数据作业调度策略,在此基础上开展用户异常用电检测和多能扰动异常检测研究。用户异常用电检测采用核主成分分析方法对高维数据进行降维,在并行框架中实现对异常数据实时检测。基于核主成分分析算法原理,提出基于集群模式的降维异常检测方法,该方法首先将能源互联网高维大数据流表征为向量,设置异常阈值,构建异常检测模型。通过模拟数据采集、实时推送数据过程,配置实时计算任务,进行数据流实时处理集群性能实验,并以TEP数据集为例对集群模式下的降维异常检测方法进行验证。最后,利用该方法提取能源互联网用户用电负荷数据特征,对提取特征进行降维分析,检测用户异常用电情况。多能扰动异常检测主要包括扰动信号特征提取,对特征进行分类两部分。针对能源互联网的数据特点,建立扰动异常信号数学模型,利用小波变换对扰动异常信号进行分解。在特征提取部分,基于滑动窗口概要结构构建能源互联网大数据流处理模型,该模型改进小波树更新算法,能实现概要结构快速更新,加快特征提取速度;在特征分类部分,采用决策树分类算法构建分类树,根据分类树及分类规则对扰动信号进行分类。算例部分利用本文构建的大数据流处理模型对电能质量扰动和燃气质量扰动进行在线检测,以验证该数据流处理模型的有效性。
其他文献
气动技术在HZ8自动焊接机中的应用吴冉泉,张绍裘,吴小洪,郑估濂(机械工程系)为满足轻工和电子工业中小型零件焊接节拍快、焊接质量高的需要,我们研制了HZS型回转工作台式自动焊接机,它是焊
在进行核电厂污水处理工艺设计时,应分析核电厂污水水质和水量的特点。文章就核电厂的污水处理工艺比选、系统设计和中水回用方案进行讨论,从而确定合适的工艺流程和中水回用
<正>2011年2期来源于真菌代谢产物的药物发现专刊特约编辑/郑维发教授2011年6期庆祝魏江春院士八十华诞专刊特约编辑/庄文颖院士2012年3期虫生真菌专刊特约编辑/王成树研究员
清代是牛郎织女传说演变的重要时期,文人作品和民间传说都反复叙述这个传说,以此为题材的戏曲和小说也层出不穷。清代牛郎织女故事的演变直接影响了近代牛郎织女故事的形成。
弹力牛仔面料服装因加入了氨纶纤维,从而使面料服装在加工生产过程中工艺更加复杂,要求更高,更易出现各种病疵。本文介绍了弹力牛仔面料服装中引起病疵的主要原因以及解决方
<正> 世界最小的汽车 日本研究制造,车身仅4.785毫米,体积和一粒米差不多,然而却有24种零件,包括一些微型电动元件,从车顶的小巧电线输入3伏的电压,竟能令它行走。
期刊
<正>患者男,29岁,因头痛3个月伴右眼视力下降7d入院。体格检查无明显异常,神经系统检查示右眼视力下降,Karnofsky评分80分。头颅MRI示右侧鞍结节区见2.9cm×2.4cm×2.9cm的不
教学中该慢的地方必须慢下来,等学生,或者为学生铺路,帮助学生在头脑中构建完整的认知结构。本文以初中物理"液体压强习题课"为例,介绍了基于"脑"的教学的一个方面的应用。
本文在建立系统“批评”参数的基础上就“AltogetherAutumn”的两种译文进行了比较评析,并由此提出翻译学的系统理论应包括多种译本“批评”的方法论研究。作者就多种译本“
目前农村经纪人在社会角色素质方面存在着期待与行为、认知与实践之间的矛盾。文章基于对农村经纪人这一特殊社会群体的角色分析,构建了农村经纪人素质模型,促使农村经纪人按