基于Hadoop平台的数据清洗研究

来源 :电脑知识与技术:学术版 | 被引量 : 0次 | 上传用户:wuzhigang3481
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
各行各业数据的指数级增长,导致数据仓库建设管理,数据库中知识发现和总体数据质量管理中涉及的重复数据、数据值缺失、错误记录、没有意义的异常值等数据问题越来越棘手。这三个领域也是数据清洗的主要领域。基于当前现状,结合当前各大企业数据处理的平台,利用Hadoop平台中的相关组件对企业中的完全重复的数据和相似重复的数据进行清洗研究。
其他文献
叠氮有机化合物用作固休推进剂的组分已引起人们的高度重视,对它的研究不断深入。本文综述了国外叠氮有机化合物的性质,合成及作为固体推进剂组分的应用情况。
打开百度,输入“苏州 柳袁照”,网页上一下子跳出了相关网页两千三百多篇的记录,随意地点开几篇,发现他们对苏州十中柳袁照校长的描述、评论各有侧重,颇有特色,多侧面地反映了柳袁
本文提出用无喷管火箭发动机终止燃烧后测得的燃层厚度,辅之以测得的p(x,t)曲线,来辨识无喷管火箭发动机工作条件下推进剂侵蚀燃速规律的一种方法。该方法克服了以往用P-t曲
基于3G通信的移动农业专家系统开发平台DepAes是在新型的信息技术与通信环境下,以产生式规则为推理机原理,将推理树结构分枝结点的搜索过程与计算机数据结构中树的递归算法相
当今社会,传统的教师与学生面对面进行信息传递的方式效率较低,已经跟不上时代步伐,辅导员运用新媒体开展思想政治教育工作既是信息技术发展的客观要求,也是创新思想政治教育
<正> 在风道设计图中常见的局部构件有分流、合流、三通等形式。这在扩初设计中为布置管路时考虑运行调节的灵活性而采用的局部构件。但通常局部构件采用的形式,不只涉及局部
问:目前干燥窑落脏调整难度非常大,稍有不慎就会引起批量的裂砖或落脏现象,请问对此有什么解决方法?
贲门失弛缓症(AC)又称贲门痉挛,是一种食管运动障碍性疾病,其主要特征是下食管括约肌(LES)高压,食管缺乏蠕动和对吞咽动作的松弛反应障碍,使得食物不能顺利通过而滞留食管内,
<正> 我公司承建的某高炉矿槽,有十六个钢筋混凝土特大斜壁漏斗。在给漏斗支模过程中,我们想办法找窍门,使工程省工、省力、省材料,还提前了工期,保证了质量。1 漏斗支模1.1
近期区块链被提高到国家战略的高度,成为公众视野的技术高地,区块链作为构造信任的技术具有极其重要的价值。传统的CA服务器在信任系统的中心位置,但是对于一些公文是由多个