论文部分内容阅读
随着智能电网的发展,用电信息采集系统的规模不断扩大,采集到的用电数据呈现出数据量大、数据类型多等特点,如何快速的存储和访问这些数据已成为电力企业亟待解决的问题。具有易扩展和存储能力强的云存储系统能够有效的解决用电数据存储问题。云存储系统通过副本技术来实现数据的分布式存储,副本技术可提升数据的容灾能力及数据的处理能力,但也会带来副本分布不均衡、副本读取时间延迟等一系列问题。良好的数据副本存放策略可以有效避免副本分布不均衡的发生,动态副本管理策略可有效减少数据的访问时延。为此,本文以云存储数据放置策略和动态副本管理策略为研究重点,结合用电数据的存储特点及需求,提出基于HDFS的用电数据云储存策略研究,具体研究内容如下:1.对用电数据的业务需求及存储性能进行分析,阐述云存储相关技术,深入研究HDFS的读写流程,提出基于HDFS的用电数据云存储架构。2.分析用电数据的存储特性及特点,在HDFS的基础上,结合BP神经网络特点及应用特性,提出基于BP神经网络的HDFS用电数据存放策略。该策略以磁盘剩余空间、内存使用率、网络距离、带宽使用率及CPU使用率为评价指标,通过BP神经网络评估出每个节点的存放响应时间并进行排序,从中选出性能优异的节点进行存放数据。仿真结果表明,该策略可有效均衡副本的分布,提高了用电数据的存放速率。3.针对HDFS原副本管理策略的不足,提出基于用电数据访问规律的HDFS动态副本管理策略。通过分析用电数据的访问规律,统计出访问量不同的用电数据文件,根据用电数据的访问量来适量调整其副本数目。仿真实验表明,该策略可避免访问热点的出现,降低数据的访问时延,从而提升用户的访问速率。本文从用电数据云存储的副本问题出发,对用电数据副本的存放和管理进行研究,通过搭建仿真平台对本文所提策略进行仿真验证。仿真结果表明,所提策略有效的提高海量用电数据的存放及访问效率。