论文部分内容阅读
智能电网是以物理电网为核心,结合了通讯技术、计算机技术和信息技术的新型电力网络。随着世界各国均加速投资和建设大规模的智能电网,大部分地区设置了多种针对智能电网的信息管理系统,包括配电地理信息系统、用户信息采集系统和配电线路在线监测系统等。通过这些系统,可以采集得到多方面的信息数据。最近几年,通过数据挖掘技术,研究人员可以智能地处理海量数据,发现历史数据中蕴含的内在规律并预测未来可能发生的事件。由于电力数据中的不完整和不一致现象频繁发生,研究人员无法对这些数据进行直接挖掘,因此电力大数据的数据质量和数据清洗得到越来越多的关注和深入的研究。本文设计与实现的面向电网大数据的数据清洗子系统,为用户提供了电力大数据背景下的一整套数据存储、数据质量评估和数据清洗的方案。相较于传统的数据预处理平台,本数据清洗子系统针对电力大数据的特征,设置用户体验良好的交互界面,可以处理多种格式的电网数据,并且注重通过数据清洗操作提高数据质量。本数据清洗子系统不仅提供多种类的针对电网大数据改进的数据清洗技术,还提供了针对电网大数据的数据质量评估模型。本文论文首先阐述了本数据清洗子系统的背景和意义,并对设计与实现过程中的相关技术进行研究。接着对系统的需求进行分析,主要分为数据存取、分析和清洗三方面,并针对系统的需求实现的关键问题,给出了对其的研究及解决方法,其中包括:针对负荷数据利用时序数据相似性的数据清洗和电力数据的数据质量评估。随后根据对需求和关键问题的理解,本文对数据清洗子系统的总体架构和功能模块进行设计,分析关键模块中典型场景,并说明关键算法的实现。最后对数据清洗子系统的部署和测试工作进行说明,验证系统的正确性和完整性,同时也阐述研究工作中不足之处,为课题的未来研究进行了展望。