Storm在电力大数据分析平台中的研究与应用

来源 :华北电力大学(北京) | 被引量 : 0次 | 上传用户:wuheli0811
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
电力系统对生产、管理、运营过程的实时监控范围更广、粒度更细,积累的实时数据量呈指数级增长,如何快速、实时的处理流数据成为研究热点。分布式的流处理技术使得流数据进行及时分析成为可能。Storm是Twitter公司开源的分布式、常用在实时计算技术,在实时分析、线机器学习、连续计算等领域。目前,Storm在网站信息、用户画像、实时推荐等领域已取得不错的效果。本文以‘’Storm在电力大数据分析平台中的研究与应用”为课题,旨在将Storm技术与电力大数据平台相结合,提出电力系统中海量实时数据的处理方案。主要研究内容有:1、研究分布式的流处理平台及典型代表。分析Storm、S4、SparkStreaming各自的架构特点,从系统架构、数据模型、故障恢复等方面进行对比;研究Storm集群及流数据处理过程涉及的相关技术,如ZooKeeper、Kafka等。2、深入分析Storm集群架构及处理模型,研究Storm数据流处理策略,包括Storm流分组策略及实时数据无损处理算法;通过实例,测试Storm在不同拓扑、不同参数配置情况下的性能,包括CPU使用率、系统吞吐量及处理延时等方面,分析Storm性能瓶颈,以支持系统扩展。3、将Storm与电力大数据平台相结合,设计基于Storm的流数据处理过程。在分析电力流数据处理需求的基础上,提出一种分层的、多种计算模式混搭的电力大数据平台架构;针对电力系统流数据的特点及处理需求,提出基于Storm的实时数据处理方案,添加Kafka消息队列辅助数据采集、在对数据进行格式化去重等预处理操作后,传至具体处理逻辑螺栓,结果存入HBase。4、Storm在输变电设备状态监测系统中的应用。研究输变电状态监测系统,从状态监测的三个基本步骤(数据采集、特征量提取和状态评估)入手,以输电线路绝缘子状态监测为例,分析状态监测流数据的处理过程,而后实现基于Storm的状态监测整个流程,并给出系统展示图。
其他文献
<正>1有关粮食安全制约因素概述国家粮食安全始终是关系经济发展、社会稳定和国家自立的全局性重大战略问题,保障国家粮食安全是一项长期、艰巨、复杂的任务。国家粮食安全主
目的基于抗炎活性研究糙叶五加根皮的化学成分。方法采用XAD-4、正相硅胶、ODS、Sephadex LH-20等常规柱色谱技术结合实时直接分析质谱技术(DART-MS)进行分离纯化,并根据其理
选择腾格里沙漠东南缘人工植被区3种典型的地表覆被类型(藓类结皮、藻类结皮和流沙)土壤为对象,选取发生在7月和9月的两次降水事件,研究浅层土壤(3、5、10cm)水分入渗与再分
因特网创造了全球性信息资源共享的网络环境,本文通过网络内涵、网络环境对图书馆的影响进行了论述,提出了现代网络环境下图书馆的发展趋势.
在粮食仓储行业,为了监测粮堆内的储粮情况,通常用向粮堆内插入测温探杆或测温电缆线的方法,通过测量粮堆内不同点位的温度来了解粮食的储藏情况。有些大型粮仓,使用的每根测
体育竞争情报是为达到预期比赛结果,而需要掌握对手的相关信息.本文考察了体育竞争情报系统的特点及分类,并进-步从加强情报人员素质和情报获取途径方面探讨了体育竞争情报系
通过绿色气调技术保管不同水分玉米,发现利用玉米自身的呼吸作用,配合使用谷物冷却等技术可以实现不同水分玉米(包括偏高水分玉米)的安全储存。绿色技术符合绿色储粮的发展方
东北地处祖国边陲,历史上东北各民族人民与用边相邻国家的民族不断的融合、交往,使得东北地方文献,尤其是东北地方古文献的跨国性问题表现得特别突出.东北地方文献无论从内容
本文为解决管理者每天需要接受大量财务信息,难以准确选择最佳财务数据的问题,结合可视化管理思想,利用信息化对企业财务部门如何选择最佳可视化表达方式进行了比较研究,同时
2011年3月9日.由中悦浦利莱环保科技有限公司举办的“有机催化炯气综合治理项目应用现场会”在北京顺义区新天利供热二厂举行。该项目实现了脱硫、脱硝和脱汞一次完成.项目所采