【摘 要】
:
随着云计算技术的快速发展,越来越多的复杂工作流被转移到云系统中处理。云系统中具有丰富多类型的计算资源,可以帮助用户解决多种类的数据处理和任务计算问题,但是,计算资源即付即用的计费模式为云计算环境下的工作流调度问题带来了新的挑战。本文基于云计算环境,研究在有限预算下多个DAG工作流(Directed Acyclic Graph,有向无环图)的调度优化问题。云计算下的工作流调度是一个NP完全问题,而D
论文部分内容阅读
随着云计算技术的快速发展,越来越多的复杂工作流被转移到云系统中处理。云系统中具有丰富多类型的计算资源,可以帮助用户解决多种类的数据处理和任务计算问题,但是,计算资源即付即用的计费模式为云计算环境下的工作流调度问题带来了新的挑战。本文基于云计算环境,研究在有限预算下多个DAG工作流(Directed Acyclic Graph,有向无环图)的调度优化问题。云计算下的工作流调度是一个NP完全问题,而DAG工作流节点间复杂的优先约束和资源计费模式将使调度问题更为复杂。本文将云计算预算约束下的DAG工作流调度建模成整数规划问题。基于问题模型,将马尔科夫链的稳态概率作为任务的重要性度量,提出了一种升秩加权的优先级排序策略;其次,设计了一种额外预算的均匀分配方法;再次,完成了排序策略和预算分配方法的仿真,并在多种工作流上进行了全面的测试与性能对比分析;最后,在开源分布式计算框架Spark中实现了本文设计的任务级调度策略,并完成了典型工作流的测试与性能评估。本文的主要创新点和贡献如下:1.为预算约束下DAG拓扑结构的工作流调度问题建立整数规划模型。因此,用整数规划优化器可以方便的求解该问题。2.为任务的调度优先级设计了一种以马尔科夫链的稳态概率作为权重值的加权排序策略,使无约束关系的任务可以分配到更合理的优先级,同时保持了原来具有优先约束的任务之间的执行顺序。3.采用了一种为各个任务均匀分配额外预算的方案,试图在调度过程中维持预算在任务之间分配的均匀、稳定,实验表明该方案缩短了整体任务的执行时间。4.将建立的整数规划模型、任务的加权排序策略以及额外预算分配方案应用到Spark调度算法中,实现了Spark的任务级调度。算法的仿真实验表明,在大部分应用案例下,设计的算法在完工时间和执行费用上都优于对比算法,额外预算均分方案的平均性能优于比例分配方案,且基于马尔科夫链稳态概率加权的优先级策略进一步缩短了工作流的完工时间。工程实验结果表明,相比Spark默认的两种作业级调度方案,本文实现的方案在完工时间、调度公平性和调度成功率等方面均取得了更好的表现。
其他文献
船舶节能减排已经成为全世界航运领域首要研究的方向,船舶节能装置的研发工作逐渐成为了水动力研究领域的重点和热点。现阶段看来,学术界已经对前置导轮、补偿导管和消涡鳍等节能装置的节能机理有了较为深入的研究,但新型全悬挂高效舵的节能机理仍在探索和研究中。为掌握新型全悬挂高效舵的设计理念和核心技术,填补我国在新型全悬挂高效舵水动力分析领域内的空白,本文对新型全悬挂高效舵的性能进行了研究。本文主要研究内容和取
我国近十年来的中央一号文件都把“三农”问题作为主题,可见国家对于推进农业产业化和现代化发展的态度十分坚定。随着我国新农村建设、农业科技创新和农业产业化的蓬勃发展,
目的:探讨调脂灵颗粒对高脂血症家兔脂质代谢的影响。方法:采用灌服高脂乳剂建立家兔高脂血症模型,观察调脂灵颗粒给药后家兔血清TC、TG、HDL—C、LDL-C、ApoAI、ApoB、LPL、HL
使用GELNORM-凝胶时间仪测量环氧树脂固化体系的凝胶时间操作方法简便,试验结果重复相同。通过使用GELNORM-凝胶时间仪,可以评估所有对反应树脂凝胶时间造成影响的因素,如型
随着科技和时代的发展,教师队伍建设已经成为我国教育界的热点问题,引起了社会大众的关注和讨论。随着民办教育的蓬勃发展,促进民办教师专业发展是提高民办教育质量,促进教育公平的重要举措。新任教师是教师队伍不可缺少的重要组成部分,也是教师专业发展的关键阶段,这一时期的专业发展影响着教师在整个职业生涯中的专业发展程度。小学阶段是义务教育的初始阶段,是万千学子人生之路的开始。因此,研究民办小学新任教师的专业发
研究背景:大量研究表明,气道上皮的修复存在多种机制,包括肺外干细胞(骨髓、外周血、胚胎等来源)和肺内干细胞,但是肺外干细胞对气道上皮修复的贡献远不及肺内干细胞。气道上皮黏膜存在具有自我更新能力的干细胞,这群干细胞能够有效修复损伤的气道上皮。1995年Stripp等首次发现,Naphthalene损伤气道上皮后,气道末端(接近肺泡的部位)有少量被称为vClub(过去被称为vClara细胞)的细胞存活
日前,在大型、大跨度桥梁的施工中广泛采用环境适应性较强的悬臂浇筑法。挂篮设备是进行悬臂浇筑施工时必不可少的施工机具,通过对松花江大桥挂篮结构验算、构件验算、锚固验算