基于Spark框架的能源互联网电力能源大数据清洗模型

来源 :电测与仪表 | 被引量 : 0次 | 上传用户:zoeshuwen88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对能源大数据清洗可提高能源大数据质量的正确性、完整性、一致性、可靠性。针对能源大数据清洗过程中的提取统一异常检测模式困难、异常数据修正连续性及准确性低下等问题,提出了一种基于Spark框架的能源能源大数据清洗模型。首先基于改进CURE聚类算法获取正常簇;其次,实现了正常簇的边界样本获取方法,并设计了基于边界样本的异常识别算法;最后通过指数加权移动平均数实现了异常数据修正。通过对某风电场风力发电监测数据进行了数据清洗实验分析,验证了清洗模型的高效性、准确性。
其他文献
作为连接国家核心素养与学科课程的桥梁,学科核心素养的内涵厘定是教学改革的前提。为解决教学实践中"为什么"和"教什么"的问题,本文从学科教育的本质、学科素养结构系统的角
经合组织、欧盟、联合国教科文组织三大国际组织分别构建了《成功生活和健全社会的核心素养指标框架》《终身学习核心素养:欧洲参考框架》《全球学习领域框架》三大核心素养
云锡文山锌铟冶炼有限公司污酸深度处理采用国内独有的二相硫化-中和-反渗透-电渗析工艺,设计污酸处理量700m^3/d,系统投产后运行平稳,危废渣量由初步设计传统工艺的10万t/a
针对当前集群文件系统只支持静态扩展、不提供高可用性等问题,提出一种基于全局哈希表的动态扩展协议—GHT,利用该协议实现一种支持节点动态扩展的集群文件系统HANDY,重点阐
根据《建筑能效标识技术标准》和江苏省《民用建筑能效测评标识标准》等,结合实际民用建筑能效测评过程中遇到的问题,通过分析明确了建筑能效测评标识的主体和测评标识的时间
目的探讨烤瓷固定夹板修复牙周病伴缺牙患者的临床疗效。方法20例成人牙周炎患者,经牙周基础治疗后行烤瓷固定夹板修复牙列缺损,共制作义齿26例,追踪观察时间为6~24个月。通过检
作为国际法的一个分支,国际人道法旨在保护未参与或不再参与敌对行动的人员,并限制作战手段和方法的使用,因此。国际人道法也被称为战争法或武装冲突法。在国际人道法的传统理论
目前连锁超市在国内竞争异常激烈,配送中心的建设与运营也成为探讨的热点。基于对LC配送中心基本情况和运行现状的阐述,在借鉴国内外连锁超市配送中心成功模式的基础上,分析
目的制备多西他赛自乳化固体分散体(DTX-SESD),并考察其体外特性。方法以自乳化辅料和PEG6000为载体制备多西他赛固体分散体,进行溶解度、体外溶出度和稳定性实验,考察不同自
英美刑事司法实践中,围绕精神病辩护先后发展出麦克诺顿规则、不能控制规则、德拉姆规则和实际能力规则。这些规则不但适用精神病还适用于其他情形。我国《刑法》第18条规定