论文部分内容阅读
国内现有大数据分析平台,仅能处理大规模磁盘历史数据,无法处理电力实时数据的,而国外电力大数据实时处理技术在电力行业的应用研究相对深入,已经存在能对电力系统海量数据进行存储和简单处理的实际系统投入运行。而且随着基于相量测量单元(PMU)的电力系统广域测量系统(WAMS)在技术上的逐渐成熟,以及在省级以上电力调度中心的普遍应用,PMU/WAMS已经成为电力调度自动化系统必要的组成部分电力工业作为国家基础性能源设施。传统的电力大数据的处理手段已经不能满足电力大数据的发展趋势,设计和实现高性能的电力大数据服务器,做到对实时电力大数据进行采集、分析和处理成为国内电力大数据发展。本文提出了一种基于Reactor服务器设计模式对本系统软件内核进行了构建,设计和实现了基于104规约的电力数据传输报文格式的数据解析层,实现在服务器软件的内核部分做到高并发。实现了异步日志模块,做到无需重启系统即可更改日志打印等级,减少了运维和调试服务器的成本。本文所做的工作主要包含以下几个方面:1.分析了我国电力大数据的发展趋势,国内外目前对于实力电力大数据处理的研究现状,以及国内外的未来研究趋势。具体分析了国外电力大数据进行实时分析软件OpenPDC,结合OpenPDC目前存在的主要问题,提出了适合我国国情的服务器系统软件设计要求。2.设计高并发的基于Reactor in threads模型的服务器内核架构,详细介绍Reactor模式的组成结构;随后研究了libev事件库的I/O的事件调度策略,整个服务器内核的I/O调度策略在此基础上进行封装构建;研究基于插件模式的数据解析层,针对104规约电力大数据报文数据格式进行消息编解码层和消息派发层的设计。3.根据设计好的服务器软件系统内核层和针对104规约的数据解析层,进行编码实现,编码实现了异步日志模块。研究了两种著名的无锁同步算法,为服务器系统软件的并发性能的提升打下理论基础,4.最后将本系统软件与OpenPDC进行了模式PMU数据吞吐量的对比,验证了本软件在并发性能上优势。