【摘 要】
：
针对MapReduce模型中存在的多个Reduce任务之间完成时间差别较大的问题,分析了影响Reduce任务完成时间的因素,指出了MapReduce模型中Reduce任务节点存在数据倾斜问题,提出了
论文部分内容阅读
针对MapReduce模型中存在的多个Reduce任务之间完成时间差别较大的问题,分析了影响Reduce任务完成时间的因素,指出了MapReduce模型中Reduce任务节点存在数据倾斜问题,提出了一种改进型的MapReduce模型MBR(Map-Balance-Reduce)模型。通过添加Balance任务,对Map任务处理完成的中间数据进行均衡操作,使得分配到Reduce任务节点的数据比较均衡,从而确保Reduce任务的完成时间基本一致。仿真实验结果表明,经过Balance任务后,Map任务产生的中间数据能够比较均衡的分配给Reduce任务节点,达到数据计算均衡的目的,在一定程度上减少了整个作业的执行时间。
其他文献
调动职工的积极性，激发和鼓励职工为实现企业的发展目标而奋发工作，是企业管理的重要职能，也是我国经济体制改革的重要课题。本文试用期望机率理论探讨调动职工积极性的科学途径
<正> 中国历史上国家的统一与分裂状态常常是由于民族矛盾和民族战争引起的。因此,历代政治家、思想家均对“夷夏”民族关系问题给予了极大的关注,并根据各自所处的时代状况
职业生涯规划是青年教师专业发展的基础,是教师和学校的共同责任,是一个不断修正、循环上升的过程。在此过程中,树立科学理念、健全规划管理是前提,运用科学方法、设计总体规
研究性学习是一种新的课程 ,也是一种学习方式 ,有其自身特点。为了使新一轮课程改革顺利进行 ,中小学教师必须掌握研究性学习的实质和常用的研究方法 ,给学生以科学而具体的
国内汽配行业发展迅速,给业务发展和销售管理提出了新的要求。许多早期的基于传统技术开发的管理系统已难以满足新要求。而UML是一种易于表达、功能强大的面向对象标准建模语
基于J2EE平台的Struts框架技术已成为开发Web应用的主流技术,而Struts框架在模型部分的实现并不理想,采用JDBC来连接数据库存在复杂编程、层间高耦合和难以维护等问题,提出了
日记画,作为儿童绘画中最普遍的一种艺术形式,是儿童懵懂时期表达认知的最早手段,更是儿童心理世界最具符号性的展现方式。它和语言所呈现的符号世界在“达意”上如出一辙,不
电子计算机是由具有各种逻辑功能的逻辑部件组成的,加法器就属于其中的组合逻辑电路。如果对传统的加法器电路进行改进,在超前进位链的基础上,用一种新的超前进位链树的设计
伴随学生学习方式的转变,培养高师生的网络化学习能力成为课程与教学改革的当务之急。新教师、新学生、新学习的特点,都决定了高师生必须发展面向新数字化时空的教学能力。由
基于历代医家治疗痴呆相关病症医案方药,探讨古代痴呆用药与组方规律。计算机加手工检索《中华医典》《中华传世医书》等中医文献集及数字图书馆记载的历代痴呆相关病症临证