基于分布式Kafka队列和流计算集群的铁道供电监控实时处理研究

来源 :华东交通大学 | 被引量 : 0次 | 上传用户:element_li
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
铁路供电系统是铁路运输的重要装备,担负着为电力机车、沿途车站、信号灯和闭塞装置等设备供电的重任,供电的安全性将直接关系到铁路运输的安全,为保障铁路系统的安全供电,铁路部门通过铁路供电监控系统对铁路供电系统进行调度监控。铁路牵引供电系统是一种典型的动态电网络,且机车负荷是大功率的冲击性负荷,具有波动幅度大、变化快等特点,同时高速列车的运行速度快、开行密度大,使得铁路电网的电压、电流等运行参数变化频繁,监控终端将采集到海量现场实时监测信息上传至调度中心,随着现场量测点的增多以及采集频率的增大,采集到的供电调度信息量也越来越多,长期运行将产生海量信息。传统的数据处理模式在处理海量监控信息时容易造成较大处理延时,不仅影响铁路供电调度系统的实时性,严重时甚至造成关键监测信息的丢失,从而导致故障信息的处理不及时,进而威胁到铁路系统的供电安全。因此,如何快速处理海量实时监控数据,是一个需要迫切解决的关键问题。本文针对铁路供电监控系统中海量监控信息的快速实时处理问题,结合实际工程应用中海量监控信息的处理要求,搭建铁道调度监控流计算实时处理系统,该系统以Storm流计算框架作为监测数据的实时处理模块,以分布式消息系统Kafka作为数据缓存模块,并以铁路动车段10kV电力远动监控系统数据为测试对象,通过对流计算实时处理系统进行一系列监测数据的拓扑实例测试,对系统的数据处理延时性能和数据吞吐性能进行测试,测试结果表明流计算实时处理系统可获得百ms级处理延时,且具有良好的数据吞吐性能,为铁路供电监控海量数据的快速处理提供新的解决方案。同时为提升系统的整体运算能力,从数据缓存模块、拓扑组件并行度参数、任务调度方法等方面对流计算实时处理系统进行优化,通过优化前后的对比实验,验证了优化方案提高了流计算处理系统的运行性能,并且在运行任务时集群各工作节点负载更加均衡。
其他文献
长链非编码RNA (long noncoding RNA, lncRNA)曾被看成是转录“噪声”,事实上它在多种生命过程中发挥重要作用,其中就包括DNA损伤应答(DNA damage response, DDR)。DDR是细胞维持
目的探讨瑞格列奈联合二甲双胍治疗老年2型糖尿病的临床效果,并观察其对患者血糖波动及氧化应激的影响。方法前瞻性选取2018年5月至2019年6月于青海油田职工总医院治疗的老年
<正>对于改革开放40年来的中国电影,陈犀禾表示,《芙蓉镇》是引起社会最大关注的影片之一,反映了"文革"后艺术家对中国历史所承受的社会沧桑的反思。这种思考在第五代的影片
2017年2月26日,由中国区域科学协会、中国区域经济学会、国家发展和改革委员会国际合作中心共同发起举办的"中国区域经济50人论坛"成立大会暨第一次研讨会在北京举行。首届论
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
本文阐述了一种应冲压生产线模下废料清扫的要求而设计的新型自动输送装置.着重介绍了本设计装置的基本结构、工作原理和工作特点.具有一定的先进性和创造性,应用在生产上会产生