Hadoop下基于统计最优的资源调度算法

来源 :计算机应用研究 | 被引量 : 36次 | 上传用户:Henkel_liu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算集群中的资源存在异构和节点稳定性问题。异构资源的计算能力不同会导致较突出的作业任务同步问题,而某个节点的不稳定状态会使运行于该节点的任务大量备份或重新计算。针对上述两问题将严重影响集群作业的执行进度,在Hadoop平台下利用统计方法,提出一种资源调度算法,对计算资源较少的节点和不稳定状态的节点进行标志并降权,让集群尽可能调度资源较好的稳定节点。实验结果表明,该算法能够在一定程度上减少作业的周转时间,提高集群的效率和吞吐量。
其他文献
学科交叉是培养创新人才的重要基础和途径,通过学科交叉培养本科创新人才已经成为高等教育界的基本共识。文章以桂林电子科技大学生命与环境科学学院为例,通过问卷调查和座谈
“翻转课堂”教学模式以自主学习和个性化教育为特色,激发学习兴趣,培养创新精神,是互联网技术与教育领域革新融合的重要表现。但是“翻转课堂”注重知识逻辑体系构建和累进式学
在国家实施创新驱动发展战略和“大众创业,万众创新”的时代背景下,高校创新创业人才培养体系逐步构成生态系统,在行业特色高校,由于其特殊的学科背景导致与行业企业联系更为密切
伴随着信息技术的快速发展, 高校教学科研、 组织管理、 校园文化和师生需求正发生着深刻的变化.面对时代的快速变迁和服务对象的创新革命, 高校后勤要摒弃传统的封闭化、 碎
《高等混凝土结构理论》是土木工程相关专业硕士研究生一门重要的专业核心课程,着重培养混凝土结构理论的专业素养、研究能力和实际问题解决能力,对学生课题研究、就业方向、职
随着接连几年计划性、跨越式的大学扩招,中国高等教育规模迅猛膨胀,高等教育毛入学率从1998年的9.8%大幅跃升为2003年的接近17%,从而推动中国高等教育从"精英化"向"大众化"快
基层财政运行困境归因于财政压力.从基层财政收入、支出、政府间财政关系三个环节,围绕存在于基层财政运行中财政压力的产生、集聚、传导、协调等方面的分析就可以揭示基层财
在深入研究了基于MBR的主方向关系的反关系推理的基础上,提出了一种基于区域对象本身的基本主方向关系的反关系推理算法。在理论上对该算法的正确性和完备性进行了证明,并通过与实际情形逐一对比验证了该算法的正确性。