机群科学计算工作流系统的研究与实现

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:bimzhouhong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于具有良好的可扩展性、可用性、高性价比,机群结构已经成为高性能计算机的主流结构。使用机群系统进行复杂科学计算的需求日益增长。由于科学计算应用规模越来越大,复杂度越来越高,需要计算与问题分解的手段。在天文、生物、海洋、气象等应用领域,越来越多的科学计算应用采用工作流(workflow)进行问题分解和计算自动化管理。工作流把一个复杂的计算过程分解成多阶段,每阶段由存在依赖关联的多个计算作业/组件组成,阶段间与阶段内的逻辑控制由科学计算工作流系统负责管理。本文对机群科学计算工作流系统进行了研究。主要研究内容及结果包括:   ⑴针对动态工作流的四种依赖语义需求:先后控制依赖、数据库触发条件依赖、事件条件依赖、时间定时器依赖,提出了基于ECA规则约束的UML活动图的工作流模型与流程描述语言。该工作流模型结合UML活动图易于图形化与ECA规则灵活性强的特点。对UML活动图的有向边实行ECA规则约束,在UML活动图原有先后控制依赖语义表达基础上,利用ECA标签可以灵活支持数据库触发条件依赖、事件条件依赖、时间定时器依赖等多样的动态依赖语义表达。   ⑵提出了基于DAG图抽象的工作流编程模型,方便开发人员编写多阶段,阶段间数据依赖,阶段内数据并行的计算复杂、数据量大的并行应用。系统提供编程中间件支持:实施并发/行的计算调度、支持阶段间计算组件的数据传输和计算/节点失效的容错处理。   ⑶对经典的关键路径调度算法CPOP进行改进,提出了一个基于执行时间预测的Refined-Critical-Path(RCP)调度算法。RCP对CPOP的资源分配策略进行改进,根据关键路径作业优先的原则,兼顾前置作业的策略,调度关键路径作业时回溯调度其前置作业,缩短了关键路径的调度长度,进而缩短流程的执行时间。实验测试对比了RCP、CPOP、Greedy、GRASP四种调度算法,表明RCP能够比CPOP及其他两种调度算法产生更好的调度结果,缩短流程的执行时间,提高了系统利用率。   ⑷设计并实现了面向管理与编程的科学计算工作流系统。为流程管理提供了建模工具,基于事件的流程执行推进机制;为编程开发,提供编程接口,及必须的组件加载、数据传输等支持;为分布式计算,提供了计算加载、监控工具;对计算资源分配与流程调度提供了有效的策略;对计算/节点失效提供了容错机制。
其他文献
大口径光学元件的加工和检测技术是当今国内外研究的难点和热点。在采用常规的测量方式时,随着口径的增大,在考虑成本的前提下提高测量精度是非常困难的。而采用小口径仪器去测
人脸建模与动画是计算机图形学、计算机视觉等领域中的研究热点,在三维游戏、影视制作、人机交互界面、远程呈现等方面有着重要的研究意义和应用价值。本文围绕基于图像的真实
学位
Web服务是近年来提出的一种新的面向Web的分布应用开发与集成技术,它基于面向服务的体系结构,采用Internet通信协议和XML编码传输消息,代表了一种松散耦合的分布应用结构。然
随着知识经济时代的到来,知识的重要性获得前所未有的显现和证明。专家作为社会知识的智力宝库,拥有着某一特定领域的专门技能、知识和经验,为社会经济和科研发展做出了巨大的贡
移动自组织网是指由一组带有无线通信收发装置的移动节点组成的一个多跳、自组织、无中心网络。随着移动自组织网中节点的快速移动,网络的拓扑结构将会不断变化,因而传统的网
学位
心脏骤停是心脏病最危重的表现。拯救心脏骤停的最重要的方法就是心肺复苏术。自从20世纪50年代和60年代初期现代心肺复苏一整套技术被美国巴尔的摩的一些临床医师及研究者提
固态盘以其体积小、可靠性高、速度快、功耗小等优点受到人们的关注,各领域的应用越来越普遍,但针对固态盘的安全保护技术研究却很少,还没有成熟的应用解决方案,急需开展固态
学位
无线传感器网络因其多学科的交叉性和广泛的应用前景得到了越来越多的关注。安全机制的研究是传感器网络广泛应用的基础,但传感器网络的资源受限、无线通信的易毁性以及物理安
汉语隐喻处理是自然语言处理的一个重要研究分支。目前人们越来越清楚地认识到隐喻在思维及语言中所处的中心地位,从计算语言学和自然语言处理的角度来考虑,隐喻问题若不能得到
三维人脸网格模型器官分割是颅面重构研究的子课题,颅面重构研究是依据颅骨的特征,复原出人脸的面貌。研究三维人脸器官分割,可以为颅面重构的结果提供器官模型,使复原结果更加真