一种异构环境下的Hadoop调度算法

来源 :中国科技论文 | 被引量 : 0次 | 上传用户:su18tt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为MapReduce的开源实现,Hadoop的性能依赖于其任务调度机制。对Hadoop的推测执行算法进行研究,并设计了一种更具公平性、更好系统处理能力和更适合于异构环境的改进的Hadoop调度算法SALS。改进的Hadoop算法对调度任务的判定更准确,对负载的针对性更强,可减少系统对全部任务的响应时间,提高MapReduce的性能。
其他文献
针对EAST装置大型低温杜瓦中内外冷屏系统存在的泄漏及对外真空室真空度的影响,采用氦质谱负压真空、正压真空及吸枪法相结合的方法,确定了多处泄漏点并分析了泄漏原因,通过
通过分析比较美国及我国研究生奖助学金资助现状,结合当前十七所高校试点研究生培养机制改革的情况,初步探讨我国研究生培养机制改革、特别是奖助机制改革的基本规律和特点,
基于机器学习的垃圾邮件过滤技术是当前垃圾邮件过滤的主流方法。机器学习模型主要分为两类:以朴素贝叶斯(NB)为代表的生成模型和以逻辑回归模型(LR)、支持向量机模型(SVM)为
针对现有的手写数字识别技术不适合大规模应用的问题,提出了一种基于AP和BP神经网络的快速手写数字识别算法。首先对预处理后的样本通过AP算法(affinity propagation)聚类消
针对高含硫气田超深井油层套管的腐蚀问题,采用四点弯曲法和动态腐蚀失重法,利用自制的高温高压釜对SM-C110、TP110TS和TP110SS三种高强度套管钢在模拟工况下的腐蚀行为进行
针对C-V法的水平集图像分割法缺少局部控制能力等问题,提出了基于物体边界梯度的指数级加速因子模型,通过使用局部图像信息,该模型可以在较少的迭代次数内分割灰度不均匀图像
2009年春节刚过,网吧迎来了新一轮的更新采购高峰,恰是硬件市场平台更新换代之际,而且又处在全球金融危机的关口,几方面原因使硬件市场价格全面走至最低位。由此,各地网吧团
为解决数据仓库中海量数据的处理效率问题,可以采用数据聚集预计算的方法,但是针对海量级别数据的聚集运算非常耗费计算资源,需要巨大的计算能力和存储能力,因此提出了一组基
详细介绍了MapReduce编程框架,具体分析了MapReduce中shuffle阶段流程。分别从Map端数据压缩、重构远程数据拷贝传输协议、Reduce端内存分配优化三方面来优化和重构Shuffle。
目的:研究临床路径在慢性鼻-鼻窦炎中的应用、效果、评价。方法:将100例慢性鼻-鼻窦炎手术患者随机分为试验组和对照组,每组50例。试验组按制定好的医、护、患临床路径实施每