论文部分内容阅读
铁路建设尤其是高速铁路的发展,以速度更快的电力牵引为主要建设方向,但相较于内燃机车和蒸汽机车,该类铁路对于接触网的依赖度极高,一旦出现台风、雨雪冰冻等极端天气,接触网出现短路事故的概率将大大增加,机车的安全运行将难以得到保障,因此需要对牵引供电系统进行实时监控。电气化铁路的供电数据采集系统相对成熟,不仅采集接触网的室内外隔离开关数据,还将铁路移动通信系统、环形配电网设备、铁路信号设备以及10/0.4kV变电所也纳入到监控内容。这使得铁路监控系统得到的监控点信息呈指数增长,数据规模也达到了传统普速铁路的五十倍以上,在数据体量和数据种类上都可以被认为是铁道供电监测大数据。传统的数据处理计算方法在处理铁路海量信息时容易造成处理延时甚至消息堆积,影响线路的实时调度,严重时可能导致关键设备的报警信息迟报和漏报,威胁列车的运行安全。因此,需要结合大数据的相关处理技术,来研究针对海量铁路供电报警信息的低延时和高资源利用率的技术方案。
本文从总体上对流计算技术进行深入分析,对当前国内外的电力大数据处理技术进行研究,同时结合铁道供电的特性,提出以多线程并行处理系统Apache Heron为核心,由Apache Mesos以及Apache Aurora作为集群调度框架,通过分布式文件系统保存拓扑文件并将其分发给各个工作节点,提高了应对线路供电突发事件的处理能力。在针对集群CPU占比高和各节点内存不均衡的问题,在数据Spout端采取背压流控机制,在面对大量数据涌入,尤其是高速列车启动的一瞬间形成的数据洪峰起到有序进入服务器队列中做准备,克服了传统分布式服务器调度不均衡的不足。以某动车段的SCADA系统工程数据为算例,进行并行度、内存占用率以及系统延时的多组数据测试,结果表明,与轮询调度机制相比,基于背压流控的平滑加权轮询调度方法(Smooth weighted round-robin scheduling method based on back pressure flow control,BF-SWRR)均衡调度算法,通过合理设置并行度可有效降低CPU占用率15%-20%,内存占有率降低至40%左右,同时提高对数据峰值的处理能力,将时间缩短到百毫秒级,有助于提高监测海量配电监测数据的动态响应能力,加快对列车的安全调度,从而避免列车晚点,满足了铁道供电对于处理数据实时性的要求。
本文从总体上对流计算技术进行深入分析,对当前国内外的电力大数据处理技术进行研究,同时结合铁道供电的特性,提出以多线程并行处理系统Apache Heron为核心,由Apache Mesos以及Apache Aurora作为集群调度框架,通过分布式文件系统保存拓扑文件并将其分发给各个工作节点,提高了应对线路供电突发事件的处理能力。在针对集群CPU占比高和各节点内存不均衡的问题,在数据Spout端采取背压流控机制,在面对大量数据涌入,尤其是高速列车启动的一瞬间形成的数据洪峰起到有序进入服务器队列中做准备,克服了传统分布式服务器调度不均衡的不足。以某动车段的SCADA系统工程数据为算例,进行并行度、内存占用率以及系统延时的多组数据测试,结果表明,与轮询调度机制相比,基于背压流控的平滑加权轮询调度方法(Smooth weighted round-robin scheduling method based on back pressure flow control,BF-SWRR)均衡调度算法,通过合理设置并行度可有效降低CPU占用率15%-20%,内存占有率降低至40%左右,同时提高对数据峰值的处理能力,将时间缩短到百毫秒级,有助于提高监测海量配电监测数据的动态响应能力,加快对列车的安全调度,从而避免列车晚点,满足了铁道供电对于处理数据实时性的要求。