IaaS环境中科学工作流关键技术研究

来源 :南京理工大学 | 被引量 : 3次 | 上传用户:xiaogui999
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
科学工作流是大规模科学计算程序的重要组织模式之一。近年来,随着科学研究的日趋广泛和深入,其对计算资源的需求也呈现出爆炸性增长的趋势。基础设施即服务(IaaS)模型是云计算中最重要的一种服务模型,其可以通过网络以虚拟机的形式按需提供大量计算资源,无疑是科学工作流潜在的理想运行环境。然而,作为新兴技术,IaaS平台与传统分布式计算平台在很多方面仍然有着显著的差异。这些差异给科学工作流的调度和执行等都带来了新的挑战。本文围绕IaaS环境中的科学工作流,研究包括构造、调度和执行在内的若干关键问题,文章工作取得的主要成果及创新点包括:1)对IaaS环境中的科学工作流调度问题进行建模,同时针对工作流执行过程研究IaaS平台特点,指出由于这些特点(基于虚拟机的动态资源管理方式、复杂的计费模型以及各种数据共享选项等)导致的现有工作流调度算法在IaaS环境中使用时可能存在的问题。2)针对IaaS环境预算约束条件下性能优先工作流调度问题,提出新的启发式调度算法BHI算法。算法根据任务完成时间、当前已用预算以及最小预留预算等启发式信息将任务调度到合适的虚拟机,在保证预算约束的条件下尽可能的寻找使工作流执行总完成时间最小化的调度方案。同时,还给出新的解决方案解决现有基于列表的启发式调度算法在IaaS环境中难以应用的问题。实验表明,相比现有算法,BHI算法在大多数情况下都可以找到更快的调度方案,同时还具有更高的调度成功率。3)针对IaaS环境中需要同时优化总完成时间和总执行费用的工作流调度问题,指出现有各种元启发算法特别是进化算法的不足;同时,设计新的基于进化算法的EMS-C调度算法。该算法针对IaaS环境提出全新的问题特定编码方式、交叉/变异算子和更有效的种群初始化方法。基于现实工作流应用和Amazon EC2平台虚拟机配置的实验证实了 EMS-C算法设计的有效性;4)针对IaaS环境中的多目标工作流调度问题,提出新的元启发调度算法ESC算法。算法采用进化的思想,但设计了全新的基于虚拟机合并、分裂和配置突变的搜索方法,同时对包括种群初始化和新个体生成策略在内的迭代搜索过程也进行改进。实验表明该算法调度结果优于MOHEFT等现有调度算法,同时相比现有各种元启发调度算法具有更强的搜索能力和更快的搜索速度。5)为解决复杂科学工作流的建模问题,同时充分利用IaaS资源执行科学工作流应用,设计并实现Brick科学工作流工具包。工具包允许用户使用Python脚本便捷地隐式创建科学工作流,同时内置了各种静态/动态调度引擎并支持包括IaaS平台/虚拟机在内的各种计算环境和资源组织形式。文章通过一个真实工作流应用完整的创建、执行和分析过程展示了 Brick工具包的可用性和便利性。6)为使遗留科学计算代码可以使用科学工作流技术和IaaS平台计算资源的进行优化和加速,在Brick工具包中还包括了 Briareus组件。该组件可以在仅添加数条描述性注释的情况下对一个已有的Python计算程序进行工作流化的改造,同时允许将指定的计算任务自动、透明地迁移到IaaS平台进行。文章通过两个科学计算程序实例实际运行效果展示了 Briareus组件的易用性和有效性。
其他文献
千禧之年,革放鼎新,信息技术浪潮席卷全世界。从PC机到笔记本,从固定电话到智能手机,从闭路电视到虚拟现实头盔,人们无时无刻不被数据浸润着,物理自然与人类社会已经悄然融入
网络技术的快速发展使得分布式系统的规模不断扩大,对系统使用的通信模型提出了更高的要求。发布/订阅系统作为一种灵活的基于事件的通信范式,实现通信双方在时间、空间和同
石麦15为冬小麦节水高产型新品种,为了探明生长抑制剂对石麦15等品种的降秆防倒及产量效应,采用多效唑(paclobutrazol,PP333)和矮壮素(chlormequat,CCC)两种生长抑制剂进行春季喷
本文对医疗侵权举证责任分配规则的变化过程进行梳理和分析,探讨现行法规的价值取向及存在的问题,并提出完善和优化举证规则的建议。
任何企业的运营,都离不开一定的模式。广电网络公司也不例外。运营模式的不同,决定了企业的不同命运。运营模式应该是:为了实现客户价值最大化,把能使企业运行的内外各要素整
【正】 日本的煤炭市场是世界煤炭贸易的最主要市场之一,对我国煤炭出口尤为重要。如今中日间的煤炭贸易总量巳达1200万吨/年以上的水平,贸易额于1997年也达到创记录的4.78亿
本文旨在探索大脑对颜色和形状特征提取、存储和捆绑的神经机制和认知过程,研究相应计算机模型的构建方法。图像是由颜色、形状等不同维度特征的视觉信息组合而成,为了识别外
枪支发射后留在子弹弹头和弹壳上的痕迹是侦破案件的重要线索和司法判决的重要物证,具有重要的研究价值。枪支的加工过程以及使用过程中的腐蚀和磨损会在枪支的一些部件上形
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
可达查询是图数据挖掘和管理中的重要基础操作,被广泛应用于相关领域中,例如社会网络、生物信息网络、交通网络、以及语义Web等。针对可达查询的研究已有几十年的历史,从早期