基于Hadoop和MapReduce的大数据处理系统设计与实现

来源 :信息通信 | 被引量 : 0次 | 上传用户:begoodboy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的猛烈发展,各行各业产生的数据呈指数型增长。如何利用,分析,整合这些"大数据"成为信息时代的一大挑战。文章针对信息时代下,大规模数据处理分析效率等一系列相关问题,利用Hadoop技术,设计并实现了一套基于Hadoop和MapReduce的大数据处理系统,该系统利用Hadoop分布式文件系统(HDFS)存储数据,利用Hadoop Map Reduce框架分布式处理数据分析任务。实验结果表明:该系统可以将单一数据处理任务分配到一个Hadoop集群上去,继而提高大数据文件处理效率
其他文献
商业判断规则是美国公司法领域中颇有特色的一项法律规则,是从董事注意义务发源而来的,并在判例法中得到了完善和发展。它表达了法官对于经营世界一种尊重,给予了公司董事正
针对东北林区大量生长的落叶松、白松、桦木小径木,从制材方式及干燥工艺等方面进行了大量的试验研究,并进行了批量生产试验.试验结果表明:采用新的制材方式,结合高温蒸汽干
美国侧柏扦插为皮部生根 ,以珍珠岩 5 0 % +腐殖土 5 0 %生根效果为最好 ,其他基质影响效果由强至弱依次为蛭石、河沙、壤土和粘土
早期筛查病因和诊断病情已被证明可以显著提升癌症患者的存活率,因此准确解读医学图像成为早期癌症筛查的关键。基于内容的医学图像检索系统(Content-based Medical Image Retrieval, CBMIR)能够对输入医学图像进行特征提取得到对应图像的特征表示,最后通过相似性度量的方法找出相似病例的诊断资料反馈给医生,可以大大减少误诊率。文章主要介绍了基于深度学习医学图像特征提取方法
影响落叶松种子园种子产量的主要因素是园址的地理条件、株行距、母树的配置方式、落叶松开花生物学特性以及种实害虫的虫口密度.
对《面向对象程序设计》课程教学有利于学生掌握切割专业知识的边缘,而网上课程有利于学生实现个人学习作为课堂教学的重要补充。文章分析了《面向对象程序设计》网络课程开
债之目的在于获得满足而消灭,故如何制定债消灭制度构成债法的中心任务之一。清偿是导致债消灭的原因之一,从清偿主体的角度来看,可以分为两类。一类为债务人自己为清偿,另一