云环境下科学工作流执行过程中的动态优化

来源 :西北师范大学 | 被引量 : 0次 | 上传用户:hu_jie
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于大规模计算资源和大容量存储设备的科学实验,已成为科学探索、工程设计和验证的重要手段。科学工作流是一种新的应用泛型,可支持科学实验的自动编排、执行、监控以及追踪,分布协同和资源共享,提高科学实验过程的自动化。与普通的基于业务逻辑的工作流相比,科学工作流是兼具计算密集和数据密集特点。传统计算环境已经很难满足科学工作流对计算资源的要求。云环境因为其计算和存储资源可以无限扩展,可作为科学工作的理想执行环境。对于一个实验机构,其科学工作流引擎需要支撑大量的科学工作流的执行,科学工作流执行引擎需要从云运营商租用计算和存储资源。因为科学工作流兼具计算密集和数据密集特点,数据分布并行任务需要在集群上执行。租用云的资源,需要支付一定的费用。由于科学工作流执行的动态性,因此需要知道集群的负载情况,根据负载情况对节点进行动态分配和回收,来实现资源的伸缩。另外集群内各节点资源使用状况各有差异,应根据各节点的资源情况为节点分配任务量,以提高集群负载的均衡性,到达提升工作流的执行效率,节约费用的目的。集群负载的均衡调整可基于当前计算资源和工作流的执行状态,具有典型的马尔科夫链的特点,因此本文建立了马尔科夫预测模型,该模型的主要目的是对集群下一时刻负载状态进行预测,以便对集群资源进行动态伸缩。此外,一个集群可能同时处理着不同类型的任务,不同的任务类型对资源的需求量也是不同的,在此基础上提出了一种负载自适应任务调度策略。该策略根据当前时刻集群负载类型来选取相应的节点负载承受能力评估模型,使集群节点在统一的评估标准下,准确衡量出集群各执行节点负载承受能力,从而更合理地进行任务分配。实验结果分析表明,本文提出的方案能够使集群在合适的负载基础上更加合理地为节点分配任务,使得集群到达负载均衡的状态,进一步提升集群资源的利用率和作业的执行效率,并减少了作业的执行费用。
其他文献
2519A铝合金具有密度低、强度高、可焊接性和耐腐蚀性优异等特点,从而在坦克装甲领域获得了广泛应用。然而,组织和性能沿厚度方向的不均匀分布,阻碍了该合金在新一代坦克装甲领域的应用。本文以2519A铝合金厚板为研究对象,以提高合金厚板均匀性为目标,采用金相显微镜、扫描电镜和透射电镜微观组织观察方法和力学性能测试等试验手段,对2519A铝合金厚板厚向微观组织和性能不均匀性进行了研究,分析了合金厚板厚向
随着互联网技术的深入发展与应用,在网络上每天都有海量的信息产生与传播,其速度远远超过了用户的反应速度。我们缺乏一种高效、自动化的方案,在用户领域知识有限和需求不明
股票市场有效性与流动性的关系属于资产定价范畴的扩展议题,本文尝试结合行为金融学基本原理,以市场有效性随流动性的变化趋势为切入点,对二者相关性的内在机理进行分析,从而
非酒精性脂肪肝病(Non-alcoholic fatty liver disease,NAFLD),是当今最普遍的肝脏疾病,世界3~5%人口受此病困扰。慢性炎症作为主要的病因,推动NAFLD从肝单纯脂肪变性(steatos
小说这种文体形式,把深刻的道理寄予立足现实又超越现实的虚构故事中,在不同版本的初中语文教材中都占有一席之地。它使得学生能够在波澜的情节、真实具体的环境中经历人物的经历,体验人物的体验,具有较强的可读性。有效的小说阅读教学对于学生语文学习能力的发展、个体情感体验的丰富等都具有十分重要的价值,它是提升学生语文素养的核心力量之一。并且,根据国际与国内语文教学的新发展,新课标对语文素养的内涵进行了丰富补充
当今的互联网和人们的生活息息相关,如何保证信息在互联网中安全的传输已成为当今互联网的一大热点。信息隐藏作为信息安全一个重要的分支,正是迎合这种个人和社会需求发展而
本文主要研究Ni掺杂的Bi2Sr2CaCu2O8+δ体系的高温超导体,利用X射线衍射(XRD)、扫描电子显微镜(SEM)、透射电子显微镜(TEM)和能量色散谱仪(EDS)等综合测试手段,系统地研究了产物的物
本论文中,以结构为基础的药物开发包括两个靶点:1)肠道病毒71型3C蛋白酶;2)柯萨奇病毒B3型3D聚合酶。1.手足口病(HFMD)是一种全球性传染病,该病是由肠道病毒引起的。近年来在
恶犬伤人案件指的是犬只相关的责任人违法行为而导致的犬只依本能对人致害,并且责任人对这样的本性与致害存在过认知或者被相关法律要求有警惕的义务。对恶犬伤人案,司法实践多因犬只“自发”伤人的特点而认为饲主等相关责任人缺乏刑事上的行为、罪过,不将其认定为犯罪。然而,犬案中饲主的行为不在于犬只伤人时他的身体举动,而在于其之前违规饲养监管行为创设与发展的持续影响法益的累积的危险;其责任判断基于的不是犬只伤人时
谱方法具有高精度和指数性收敛的特性。随着计算机技术的不断发展,采用谱方法对实际问题进行模拟研究已成为当今的一个研究热点。谱方法实现的途径一般有两种:一是基于矩阵相