基于Spark Streaming的用电异常在线检测研究

来源 :华北电力大学(北京) | 被引量 : 0次 | 上传用户:q2347386
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
我国的偷电窃电现象很严重,每年电力损失达到几百亿人民币以上,除了自然的线路损耗以外,绝大部分是非技术线损,即偷电窃电造成的损耗。在用电过程中,不法份子偷电窃电,民众私改电力设备等行为,严重影响电力企业健康发展和国家经济建设以及社会稳定。虽然电力企业在打击偷电窃电行为上,不遗余力,但是异常用电检测时间长,用户分布广,不能快速乃至实时地得到结果。随着电网的发展,各种智能电量计量装置被广泛使用,产生了大量的电力数据,这给基于电力大数据的用电异常检测的研究带来了新的契机。但以往的用电异常检测方法通常是通过历史数据分析,对实时传输的用电数据流优势不明显,检测结果往往滞后,不能满足现有环境下的时效性要求,帮助电力企真业实现及时止损。针对上述问题,本文提出将流数据挖掘算法与Spark相结合,实现用户用电异常在线检测。首先针对历史数据,使用Kmeans算法横向和纵向对用户的历史数据进行聚类,得到用户的聚类标签和行为模式,然后通过设置滑动窗口的大小选择当前的用户数据流,并通过流聚类算法一流式Kmeans快速得到用户的当前用电行为模式,最后将用户的当前用电行为模式与同类用户的行为模式以及该用户的历史的用电行为模式进行比较,以此来发现潜在的异常用户,为电力企业缩小检查范围,实现快速检测。本文的主要工作如下:1、对流数据处理技术以及流数据聚类技术做了详细研究。本文将界标模型、滑动窗口模型和快照模型进行了对比介绍;对常用的流聚类算法,如流式Kmeans、层次聚类、流式DBSCAN等的算法流程、适用特性进行了研究比较。2、介绍实现数据传输的Kafka消息订阅发布系统、Spark Streaming流处理技术。然后搭建了带有Kafka的流处理平台,并在该平台上实现了流式Kmeans算法,以此验证流处理平台的数据吞吐能力和快速处理性能。3、使用UCI公开的葡萄牙居民用户用电数据在搭建的平台上进行离线聚类分析和在线异常检测。实验数据包括葡萄牙2011-2014年的370户用户用电采集数据,数据量为4*365*96*370点数据。实验证明所提算法和方案的有效性,为疑似窃电用户的判别提供了依据。
其他文献
目的探讨基于快速康复外科(FTS)理念的快速康复护理在胃癌围手术期中的应用效果。方法选择240例同期住院胃癌手术患者,按照随机抽签法分组,观察组120例采用快速康复护理方案,
目的饱和脂肪酸(SFAs)诱导的脂毒性在非酒精性脂肪性肝病(NAFLD)的发病机制中起着重要作用;棕榈酸(palmitate, PA)则是肝细胞脂毒性的主要诱发者。本文旨在研究升麻素对棕榈
作为桥梁的重要附属构件,桥梁伸缩缝装置的工作状态对行车舒适性和桥梁结构自身受力状态均有不可忽视的影响。伸缩缝装置虽然尺寸相对较小,但结构比较复杂,特别是在汽车移动荷载的重复作用下,构件的应力水平在不断循环变化;在伸缩缝装置的常见病害中,可见因疲劳导致的锚固区混凝土破坏,因此在桥梁伸缩缝装置中疲劳问题较为突出,研究伸缩缝装置的疲劳问题具有重要的工程应用价值。本文研究的伸缩缝是一种新型EMR混凝土伸缩
利用梯度稀释和对峙试验的方法,从向日葵根际土壤筛选到18株对向日葵菌核病病原菌—核盘菌(Sclerotiniasclerotiorum)有拮抗效果的细菌,其中1株具有较强的拮抗效果,命名为XRK
针对复杂孔隙结构致密砂岩储集层中大量存在的"非Archie(阿尔奇)"现象,提出一种新的考虑孔隙结构的梯形孔隙含油饱和度模型,即将致密砂岩孔隙结构划分为截面积不变的直孔隙和截面
以某款滚筒洗衣机为研究对象,在分析了滚筒洗衣机振动机理的基础上,运用AN-SYS软件对洗衣机箱体进行模态分析。根据分析结果,提出了经济适用的提高洗衣机箱体刚度的优化方案
心脏疾病是威胁人类健康的最大病因,ECG信号的复杂性使得人工检测需要大量时间且容易误诊,因此基于心电图心拍数据实现计算机辅助ECG判断具有重要意义。提出基于QRS波群的心
目的:探讨转化生长因子-β(Transforming growth factor-β3,TGF-β3)对兔牙髓干细胞(dental pulp stem cells,DPSCs)成骨向分化的影响。方法:采用酶消化法将兔牙髓与颅骨体
立交型式选择是立交建设中重要的前期工作,立交型式不同,将使整个立交的交通功能、投资、景观及社会和经济效益等方面受到影响。本文采用粗糙集理论,通过对相同道路条件下不同立
世界卫生组织将肥胖定性为十大慢性病之一,并将每年的5月11日定为世界防治肥胖日。在我国,随着人民群众生活水平的提高,肥胖的人也越来越多。由于肥胖导致的代谢异常性疾病发病
报纸