基于云计算的海量大数据智能清洗系统设计

来源 :现代电子技术 | 被引量 : 0次 | 上传用户:wxthaoa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据资源是企业拥有的最重要的战略资源之一,也是管理层制定远景规划,提高市场竞争力的主要方式和途径,但大数据中会存在错误、冗余和不完整的数据,降低了大数据的总体质量。为此设计一种基于云计算的海量大数据智能清洗系统,改善现有大数据清洗系统在脏数据处理性能上的不足。分析了基于云计算的大数据智能清洗系统的总体框架和硬件构成,数据清洗系统的硬件部分由数据预处理模块、数据云聚类模块、数据识别模块和实体划分模块等部分组成;给出了智能大数据清洗系统的总体软件工作流程,并重点分析大数据空间聚类、相似度计算等关键的数据处理
其他文献
本文重点通过研究峡东地区埃迪卡拉系陡山沱组碳同位素的变化规律,来探讨其全球地层对比意义。峡东地区埃迪卡拉系陡山沱组经历了三次比较显著的碳同位素负漂移(EN1~EN3)和两次正
目的研究前癃通胶囊干预下,TGF-β1mRNA在良性前列腺增生基质细胞中的表达的变化。方法:采用MTT比色法检测前癃通胶囊对体外培养良性前列腺增生前列腺基质细胞增殖的抑制作用;
宋代是我国古代养蜂业发展的一个重要时期。蜜蜂饲养遍及全国,蜂蜜及其副产品在餐饮业、中医食疗、手工业中得到了广泛运用,蜂产品的开发和利用都远远超过了前代,这是宋代养
音乐鉴赏是高中音乐教学的重要内容,也是促进学生全面发展的重要途径,提高音乐鉴赏能力对丰富高中学生的知识内涵,成为高素质的人才有着不可忽视的巨大作用,本文主要介绍音乐
随着当前社会发展进程的不断加快,传统媒体与当前的新兴媒体融合已经成为社会发展的必然所趋。在媒体的不断融合发展中,也必然会产生诸多的困难和挑战。由此本次研究通过对新
文中就目前矿区地表变形分析存在的一些不足之处,提出采用小波变换进行数据降噪处理,使数据达到平滑;同时利用小波变换对形变大的图像进行降噪、压缩处理,在此基础上对矿区地表变
通过试用"栲胶+888"双催化剂法进行半水煤气脱硫的情况进行总结,认为该方法具有脱硫效率及硫回收率提高和蒸汽、辅材消耗下降等优点。并提出了在运行中应注意的事项。
一个国家需要处于金字塔塔尖的顶层创新,但若没有大量位于塔基的底层创新作基础,它的整体创新能力是不可能达到塔尖的。当前中国不只是高端创新人才缺乏,就是在创新金字塔塔基位
目的探究在对老年慢性阻塞性肺疾病患者进行护理时,应用全科护理的效果,分析其应用意义。方法在我院数据库中调取时间段2017年5月至2019年1月间收入的50例老年慢阻肺疾病患者
美国社区学院以服务社会为宗旨,以发展地方经济和文化为办学目标,全方位为社会服务,是职业教育提供社会服务的典范。通过对美国社区学院的社会服务实践和特点的分析,结合中国