面向高吞吐率计算的编程模型和运行框架系统

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:goove8
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
处理大规模问题的常用技术手段包括高性能计算、高吞吐率计算和大数据处理技术等。由于高吞吐率计算存在计算时间长、使用计算资源多、多任务、容错性要求较高的特点,Hadoop等大数据计算框架和在高性能计算领域应用广泛的MPI都不完全适用于开发高吞吐率计算应用。为了降低高吞吐率计算应用的开发难度、提高开发效率,本文对已有的DCR编程模型和运行框架进行了改进,使其能够满足高吞吐率计算多任务、容错等方面的需求。借助本文的编程模型和运行框架,用户开发高吞吐率计算应用时,只需要实现编程模型中的分解、计算和规约过程,任务的执行、任务之间的计算资源分配、节点管理、负载均衡、容错等功能均由运行框架实现。本文首先介绍了改进后的编程模型,包括任务、任务模板和任务组的概念;任务组中任务依赖关系的描述;用于任务间通信的消息模型;任务间的计算资源分配原则。然后,本文介绍了运行框架的总体结构,包括调度节点和计算节点的总体结构、队列结构、线程结构以及两者之间的通信。随后,本文详细介绍了运行框架多任务机制的设计与实现,包括:任务模板的管理、任务的创建、任务的状态、任务的管理功能和任务管理器的实现、任务执行器的实现、消息机制的设计与实现。同时,本文还对任务执行过程、任务计算资源分配、负载均衡和容错等方面的实现进行了介绍。最后,本文在“神威太湖之光”、“天河二号A”以及GPU集群上对运行框架进行了多任务、消息通信和大规模集群支撑能力等多方面的测试,验证了运行框架能够满足高吞吐率计算的需要。
其他文献
阵列天线广泛应用于雷达系统、电子对抗、射电天文、无线通信等领域。在不影响性能的前提下,用更少单元的天线阵列进行稀布排列,将在节省成本和降低阵元间的互耦方面上具有显
当等离子体的密度很高时,德布罗意波长与粒子间的平均间距相当,此时量子效应和集体效应同时起作用,这种等离子体被称为量子等离子体。本文介绍了量子等离子体的基本概念和特
目的认知功能障碍是导致精神分裂症患者社会功能损害的一个重要因素,在临床中精神分裂症患者常伴有睡眠障碍。有研究发现睡眠障碍与认知功能损害具有相关性,但目前多数研究中,其所纳入的样本多为慢性精神分裂症或已经过药物治疗,药物对睡眠障碍以及认知功能障碍具有一定的影响。为了排除这些影响,本研究纳入首次发作的精神分裂症或精神分裂症样障碍的患者作为研究对象,并使用更加全面的认知测量工具,来探讨首发精神分裂症患者
近半个世纪以来,随着遗传学和分子生物学兴起以及相关技术方法在鸟类学研究中的应用,鸟类分类学研究得到了快速发展。本文对内蒙古47种非雀形目鸟类的COI基因部分序列(694bp)
蛋白激酶C(Protein Kinase C,PKC)是一族结构相似的丝氨酸/苏氨酸蛋白激酶,在细胞增殖、分化、凋亡、基因表达、膜转运和信号转导等过程中起着重要的调节作用。到目前为止,在哺
基于CRISPR-Cas9系统的基因编辑工具近年来在医疗、农业等领域展现巨大的应用潜力。然而在玉米等部分作物中基于农杆菌转化载体进行基因组编辑的效率偏低,一定程度影响到该技
亚麻籽油中富含α-亚麻酸,α-亚麻酸是人体所不能合成的三种必需脂肪酸之一,具有多种优良的生理功能。肠道环境是人体最大的微生态系统,肠道菌群与人体健康密切相关。关于亚麻籽油和α-亚麻酸对肠道菌群的调节作用,目前尚无相关的研究报道。本文通过采用体外动物粪便厌氧培养体系,研究亚麻籽油及其功能成分α-亚麻酸对肠道菌群结构和肠道益生菌的影响,为阐明亚麻籽油及α-亚麻酸作为功能因子改善肠道微生态的作用和机理,
大米胚芽营养成分高,营养价值好,且我国有丰富的大米胚芽资源,从这一实际出发,本文阐述了大米胚芽分离提纯,保鲜技术,大米胚芽食品开发利用的途径,并对其今后的研究方向提出了建议。
文章对竹炭改性涤纶纤维的各项基本性能进行了测试分析,同时也对竹炭/棉混纺机织物及同规格的涤/棉混纺机织物的服用性能进行了对比研究,结果表明:与涤/棉织物相比,竹炭涤/棉
随着中国经济的迅速发展,居民消费水平的逐步升级,现在的中国人早已不再满足于吃饱穿暖等基本要求,而是越来越注重消费的品质,以及消费过程中精神层面的需求,以往高高在上的