MapReduce架构的多控制节点改进

来源 :北京邮电大学学报 | 被引量 : 0次 | 上传用户:yuahhnet
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
MapReduce集群系统的单一控制节点结构使其存在着性能瓶颈问题,限制了集群的规模.为较好地解决系统性能瓶颈问题,提出了MapReduce架构的多控制点改进.新系统的实现基于Hadoop MapReduce,在对架构进行改进的同时,重新设计了信令系统,并增加了控制节点间的热备份机制.因此,新架构除了能解决瓶颈问题外,还可以通过控制节点间的热备份策略有效地应对控制节点故障,降低故障对集群性能的影响,保证应用的正常执行. The single control node structure of MapReduce cluster makes it have the performance bottleneck problem, which limits the scale of the cluster.In order to solve the bottleneck of system performance better, a multi-control point improvement of MapReduce architecture is proposed.The implementation of the new system is based on Hadoop MapReduce, While improving the architecture, we redesigned the signaling system and added the hot backup mechanism between the control nodes so that the new architecture can effectively solve the bottleneck problem by controlling the hot backup strategy between nodes Control node failure, reduce the impact of failure on the cluster performance, to ensure the normal implementation of the application.
其他文献
水利工程设计中,河岸(渠道)与水闸连接结构的布置、设计的是否合理对工程的安全性、实用性影响很大。文中通过已建工程实例浅谈翼墙设计的合理性。 In the design of water
血管内皮生长因子( VEGF)信号轴在建立和维持肾小球滤过屏障中发挥不可或缺的作用。蛋白尿是VEGF信号通路抑制剂的常见不良反应之一,该类药物可引起肾小球足细胞和肾小球毛细血
通过比较1 Mbit商用静态随机存储器(SRAM)在6种不同偏置条件下器件参数(静态和动态功耗电流)和功能参数(错误数)随辐射总剂量、退火时间的变化规律,研究了不同工作状态对辐射
烃类蒸汽转化法是目前工业产氢的主要工艺,而高能耗和高碳排放是制约这一工艺发展的瓶颈因素.采用(火用)分析方法对烃类蒸汽重整工艺进行了系统的考察.对天然气蒸汽重整制氢(
提出一种将联合极大似然方法(JML)和遗传算法相结合解决SLAM数据关联问题的方法,简称GAJML.该方法采用"关联门"缩小数据关联的解空间范围,提高搜索效率;利用数据关联解的联合极大似然值作为适应度值,种群的初始化采用了自适应策略以提高算法计算速度.与单匹配最近邻(ICNN)和JML方法的对比实验表明该方法相比于ICNN方法耗时增加很少实时性好,数据关联正确率接近JML准确度高,并能够有效克服闭
电流扰动法是孤岛检测方法之一。首先建立了三相光伏并网逆变器孤岛检测时域数学模型,在此基础上探讨了有功电流扰动和无功电流扰动对公共耦合点电压幅值和频率的影响,并进行
使用Nb2O5和Nb(OC6H5)5为铌源对LiFePO4/C中的锂位和铁位分别掺杂,采用碳热还原法合成掺杂Nb的磷酸铁锂系列材料.运用X射线衍射仪、扫描电镜、循环伏安、交流阻抗谱和恒电流
提出一种新型超宽带电磁带隙结构,以抑制印刷电路板(PCB)上的同步开关噪声.基于电磁带隙结构的理论分析和设计,对新型电磁带隙结构的阻带特性及信号完整性进行了仿真分析.仿
汽车工业对我们来说是国民经济的支柱产业,对新时期背景下发展我国的经济具有重要影响,所以我国必须发展汽车工业。目前,我国汽车工业仍是典型的“幼稚产业”,而我市目前的广州本
我国的电力体制改革正在不断的深化,而日益进步的现代化管理成为发展革新的重要发展方向。随着我国经济建设的不断加快,经济迅速发展使得人们的生活水平有了极大的提高。而在新