【摘 要】
：
YARN是Hadoop中广泛应用的资源管理系统,支持MapReduce,Spark,Storm等多种计算框架,已成为大数据生态中的核心组件。然而,在Hadoop YARN现有的资源调度器中,采用基于资源预留
【机 构】
：
中国电子科技集团公司第三十二研究所信息服务平台室
论文部分内容阅读
YARN是Hadoop中广泛应用的资源管理系统,支持MapReduce,Spark,Storm等多种计算框架,已成为大数据生态中的核心组件。然而,在Hadoop YARN现有的资源调度器中,采用基于资源预留的资源保障机制,会产生资源碎片,导致资源浪费。为提高集群的资源利用率和吞吐量,本文提出一种基于预约回填的资源分配机制。在该机制中,基于作业的优先级来决定是否对资源进行预约,并引入回填策略,在不影响预约作业执行的情况下,对资源进行回填使用。实验表明,使用基于预约回填的资源调度机制能够有效提高Hadoop YARN集群的资源利用率和吞吐量。
其他文献
2019年是人民币国际化启程的十周年。过去十年之中,特别是2015年汇改以来,外部环境和中国对跨境资本流动的管理政策发生了一定的变化,在一定程度上影响了人民币国际化的进程
课程目标的设定、课程内容的设置、教学策略的应用和课程评估方法的选择都可能会对随班就读的教育质量产生一定的影响,文章从课程目标、课程内容、教学策略和课程评估方法角
[目的/意义]《中华人民共和国国家情报法》的颁布提出了加强情报学科建设的客观需求。从历史、学理以及实践3个方面对中国情报学发展进行纲领性论述,以期催化中国情报学学科
重构与建立公共财政框架相适应的职责清晰、权责对等、收支平衡、管理有序的县乡财政体制,是增强县域经济活力与实力,提高基层政府提供公共服务能力的重要保障。要以现有事权
伴随着PCB行业与表面贴装工艺的快速发展,未来PCB线路与PAD间的间距会越来越小,表面所帖装的零件会更加密集,与此同时,PCB本身的变形弯曲对贴装工艺的影响也越来越大,为长期
在Tu Xiaoyuan和John David Funge研究工作的基础上,进一步研究人工鱼群的高级自组织行为.基于个体人工鱼的行为模型,提出一种基于认知的人工鱼群高级行为自组织方法.该方法
目的观察结膜Parks切口联合表面麻醉下进行斜视手术的效果。方法斜视患者136例,表面麻醉剂0.4%盐酸奥布卡因滴眼液术前3次点术眼,常规行结膜Parks切口。观察麻醉效果、术中、
关于旅游利益相关者的研究已成为近年来国内研究热点之一,取得了丰硕的成果。研究内容主要集中于旅游利益相关者界定与分类、生态旅游、旅游目的地、旅游规划、旅游景区、旅
在前不久闭幕的2014年FESPA中国数码印刷展及中国国际网印及数字化印刷展上,数码直喷涂料印花无疑是一个最大的亮点,也是众多客户关注的焦点。说起涂料印花,业内人士肯定都不
3D打印技术的广泛应用引起了教育行业的高度重视,很多高职院校已经在探索建设3D打印技术专业。但这种新兴专业在专业建设过程中没有规范或经验可供参考,给专业建设参与者造成