最小化多MapReduce任务总完工时间的分析模型及其应用

来源 :计算机工程与科学 | 被引量 : 0次 | 上传用户:xiawa371236585
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大规模的MapReduce集群广泛地用于大数据处理,特别是当有多个任务需要使用同一个Hadoop集群时,一个关键问题是如何最大限度地减少集群的工作时间,提高MapReduce作业的服务效率。可将多个MapReduce作业当做一个调度任务建模,观察发现多个任务的总完工时间和任务的执行顺序有密切关系。研究目标是设计作业调度系统分析模型,最小化一批MapReduce作业的总完工时间。提出一个更好的调度策略和实现方法,使整个调度系统符合经典Johnson算法的条件,从而可使用经典Johnson算法在线性时间内
其他文献
近年来,伴随着对环境保护意识的不断提高,对化学生产工艺的绿色化要求也提上日程。非晶态合金(amorphous alloy)是一类具有长程无序而短程有序的新材料,其独特的结构导致了优良
在十九大报告中,习近平总书记提出要加快完善社会主义市场经济体制。其中特别指出,要打破行政性垄断,防止市场垄断,加快要素价格市场化改革。能源是国民经济基础性的投入要素,其生
报纸
新疆蕴藏有大量的煤炭资源,其中大部分形成地质年代较短,炭化程度低,挥发份高,爆炸性强。鞍钢喷吹烟煤的试验成功,实现了我国喷吹烟煤技术的突破。但鞍钢仅仅解决了低、中等挥发份
目的:探讨益气通络法组方配合腰椎后路椎间融合术(PLIF)治疗寒湿痹阻型腰椎间盘突出症的临床效果及对外周血肿瘤坏死因子-α(TNF-α)和白细胞介素-1β(IL-1β)水平的影响,进
为了保证某些领域的嵌入式计算机系统的信息安全,提出了系统多方式自毁功能模块。基于关键领域计算机的自毁功能,提出多级自毁策略。在一个三模冗余加热备份模块的模型机的基
中国是水产品加工大国,近年来水产品加工业的发展受到国际环境及国内因素制约,比较优势逐渐下降。本文基于底部鱼类加工企业的实地调查数据,采用价值链分析方法,估算我国水产
村级财务管理关系到广大农民群众的切身利益,深受百姓关注,也是我国农村改革的重要内容。村级财务管理的民主化和规范化,直接反映了农村基层党风廉政建设基本情况,约束着社会
网络评论的情感倾向性分析是当下热门的研究方向,其第一步就需要有效识别文本中的主观性信息。提出并分别实现了基于主客观线索的方法、基于NPOS的方法和基于条件随机场的方法
<正>中铁五局机械化公司蒙华铁路15标一工区,自2015年7月进驻蒙华铁路以来,以其"攻坚克难、勇争第一"的精神和作风,在竞争激烈的蒙华竞技舞台上大展宏图,在中国中铁股份公司
<正>一、稻米精深加工行业及主要产品稻米是我国第一大农产品和粮食品种,2008年我国稻谷产量约占全球总产量的30%,播种面积和产量分别占我国粮食播种总面积和总产量的27.7%和