论文部分内容阅读
随着智能电网建设和研究的不断推进，对输变电设备状态监测的广度和深度不断加强，状态监测过程中收集的数据量呈指数级增长。然而，电力系统要求对生产、管理、运营能够实时监控，对在线监测系统的实时性要求很高。现有的大数据处理技术(如MapReduce等适合离线大数据分析)应用于在线状态监测系统时，其性能很难保证。根据状态监测数据特点，利用Storm实时处理监测数据流，设计了数据流处理拓扑结构和消息树；利用Spark内存集群计算技术，提高状态评价和数据分析算法的性能，设计了k-means的聚类算法，实现数据的聚类划分。最后提出了结合大数据处理、实时流数据处理和内存批处理技术的状态监测数据实时分析框架。