【摘 要】
：
随着云计算迎来了蓬勃的发展,Hadoop作为开源云计算平台,得到了国内外很多公司和高校的青睐。相应的,作为Hadoop的子项目和分布式并行处理框架的MapReduce,目前基于它的应用
论文部分内容阅读
随着云计算迎来了蓬勃的发展,Hadoop作为开源云计算平台,得到了国内外很多公司和高校的青睐。相应的,作为Hadoop的子项目和分布式并行处理框架的MapReduce,目前基于它的应用越来越多,特别是在大数据量处理方面,通过将应用任务并行化,使应用系统的处理性能有了很大的提升。但随着应用的广泛性和多样性,针对具体应用,其暴露出来的不足和需要改进之处越来越多,Hadoop还没有到达1.0版本。本文主要对MapReduce框架做以下几方面的探讨：(1)简要介绍了并行计算、分布式计算、云计算三种计算模型的定义及其相关概念,通过分析总结出MapReduce框架是符合三种计算模型的。引入Hadoop和MapReduce框架处理流程和机制,为下文提出改进方案奠定基础(2)通过剖析具体应用以及深入分析框架处理流程和相关源代码实现,总结实际应用中出现的一些影响执行效率的问题,如数据倾斜问题、规约任务不均衡问题和规约调度问题等(3)提供了针对出现问题的改进方案,主要实现了针对中间结果进行切割的切分函数、启动新规约任务的机制以及相应的调度机制,给出了改进后的方案设计架构和实现(4)经过多次、不同级别数据量的试验,表明改进后的框架在相关应用上确实能够提高作业的执行效率
其他文献
从强调白话的实用意义到关注白话的美学品格,从工具层面的思想传输,到本体层面的价值呈现,五四小说语言的变革不再是被动选择,正逐步向语言的本质靠近,从而直接亲近了时代,亲
芳胺类化合物广泛存在于药物分子、天然产物、农药和化工品中。许多畅销药物(如Lidoderm,Crestor,Abilify和Gleevec)中都含有芳胺骨架。传统的芳胺合成方法主要包括亲核取代
根据某些独立机构统计结果显示,21世纪全球文明将要经历一场有关诠释生命进化意义的跨学科综合研究。这将是一幅什么样的场景?什么因素将会左右其进一步发展?作者运用现代宇
随着我国经济的高速发展，房地产市场的投资在市场经济的驱动下快速增长，房价日益攀升，高房价引起的一系列社会问题成为影响国计民生的重要因素，因此保障性住房建设在当前显得尤为
AR具有的虚实结合和自然交互特性能有效解决语言学科学习中要求情境性、交互性、生动性、即时反馈等要求。文章介绍了国内外增强现实技术在语言学科中应用的典型案例,并详细
黑线仓鼠(Cricetulus barabensis)是一种有害的啮齿类动物,它破坏庄稼,传播疾病,给人类造成极大危害。黑线仓鼠广布北亚,自西伯利亚南部起,通过蒙古共和国,覆盖整个我国北方
日前，国内游学教育机构世纪明德联合主管部门、研学旅行示范实验区、研学旅行示范基地共同启动了“研学旅行在中国”系列活动，来自官、产、学、研等多方面的代表围绕“研学旅行
本文对以脂肪醇或脂肪醇醚为原料，以ＰＣｌ３或ＰＯＣｌ３为磷酸化剂合成磷酸三酯或亚磷酸三酯的工艺条件进行了详细探讨，优选出最佳反应条件。本研究产品可作为皮革加脂剂成分使用，亦可作纺织油剂
为切实推进北方地区甜高粱的规范化种植．解决北方地区甜高粱种植过程中种子处理上的技术难题，推动甜高粱种植技术的发展完善。结合国内外种子丸粒化发展现状和技术特点．对北方地
<正>近日,教育部等十一部门印发了《关于推进中小学生研学旅行的意见》(以下简称《意见》),要求各地将研学旅行摆在更加重要的位置,推动研学旅行健康快速发展。【核心解读】