论文部分内容阅读
随着科技的发展,电能作为现代社会不可缺少的一部分,其质量的好坏成为衡量国家技术发展水平的重要指标。电能质量监测数据对电网的分析与治理起着至关重要的作用。由于电网规模的扩张、电能质量监测系统采集装置采样频率的提高以及监测范围不断的扩大,导致电能质量监测系统采集的数据量不断增大。传统的电能质量监测系统都是基于调度中心的集中式计算平台,无法存储和处理海量的电能质量数据。本文利用Hadoop平台对传统的电能质量监测系统进行改进,解决了海量数据无法存储以及计算处理时间过长的问题。首先介绍了Hadoop平台的HDFS分布式文件系统、MapReduce并行计算框架以及HBase分布式数据库,并搭建了Hadoop集群平台。针对传统电能质量监测系统的弊端,提出基于Hadoop平台电能质量监测系统,并给出了该系统具体的架构及优势。其次分析了数据存储与处理相关技术,对系统默认的数据分布策略和数据连接算法进行改进。将多副本一致性哈希算法与HashMapJoin并行连接算法结合使用在该平台,增大了数据本地化程度,节约了网络带宽资源,提高了数据连接查询的效率,增强了系统的性能。另外还对系统涉及到的其他技术进行简单介绍,对影响系统性能的负载均衡、数据块尺寸、集群的高可用进行了设置与优化。最后设计了相关实验,对多副本一致性哈希算法的可行性、数据存储的快速性、算法优化前后的平台对数据并行处理的高效性以及集群的高可靠性等方面进行验证。通过对电能质量数据的处理,验证了基于Hadoop平台电能质量监测系统的可用性。