基于判例构造的并行作业性能评测技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:a7395937
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
有效的资源管理和调度对于分布式计算来说是必不可少的,而对计算任务在不同计算资源之下的运行时间的预估是许多资源调度方法的基础。基于判例的预测技术是近年新出现的一种预估并行计算任务运行时间的方法,它通过在可控平台将原始程序运行一次,获取原始程序的通信日志,并根据日志重构出能够反映原始程序运行时间特征的,可按比例缩放的判例程序,最后通过判例程序在不同计算资源条件下运行的时间预估原始计算任务在该资源下的运行时间。由于这种方法对运行时间的预估是基于程序的实际运行,如果能够完善各环节,有希望比传统的基于建模分析的时间预估技术取得更加准确的效果,同时也能避免基于历史和基于建模分析的时间预估方法所受到的一些局限。因此,本文将这一方法的各个环节分解为一些子问题,对各个问题进行了研究。对于运行日志的获取,本文设计了一种获取并行程序运行时所有通信日志的方法,通过利用MPI库的PMPI接口,在MPI库源码中插入函数封套,在不改变原始程序,也不影响原始程序运行的情况下获取通信日志;对于运行日志的合并,通过研究集合通信与一对一通信的特点,本文设计了一种规整化并行程序通信日志的方法,在规整化的基础上设计了一种合并日志的算法。对于最核心也最困难的收缩日志循环问题,本文将问题转化为字符串的循环子串收缩问题,提出了一种基于后缀数组的算法,在理论和实际的时间性能方面都优于已有的最优算法;对于自动构建判例程序,本文解决了对计算时间与通信时间的可按比例缩放模拟,各类通信函数的参数补全等问题,设计了自动构建可执行判例程序的方法。本文设计了基于判例技术的分布式计算任务时间预估系统,并使用标准性能测试集程序NPB中的应用在可控机群平台进行了实验,使用基于判例技术的时间预估结果与应用的实际运行时间之间的偏差进行比较来验证上述各环节方法的有效性和准确性。实验表明本文设计的方法能够比较准确地预估计算任务的运行时间,对于同构机群误差不超过3%,对于异构机群误差不超过10%。
其他文献
本文以东华大学教育资源搜索引擎为研究背景,该搜索引擎主要检索东华大学站内信息和全国各高校的招生信息及其精品课程信息。它不仅可以方便在校师生查找校内信息,也可以为其
细胞中的各种生命活动与蛋白质间的相互作用紧密相关,同时,蛋白质相互作用过程的不和谐也导致了人类疾病的产生,因此深入理解蛋白质相互作用,不仅是揭示生命活动奥秘的前提,而且对
自从美国著名控制论专家扎德L.A.Zadeh教授提出Fuzzy集理论以来,模糊理论在众多领域都得到了成功的应用。在现实世界中,Fuzzy集理论无法准确表示和处理相当一部分具有模糊性
移动自组网(MANET,即Mobile Ad Hoc Network)是一种无中心、多跳、自组织的对等式无线通信网络,与传统的无线局域网不同,它的组建不依赖于预先存在的网络基础设施,而是由既是
膜计算模型(也称P系统)是从生物细胞的组织结构、功能中得到启发,抽象出的一种分布式、并行性的新型计算模型,它是自然计算的一个新分支。由于其内部结构的一些固有特性,P系
计算机技术的蓬勃发展,使其已经深入到各个领域,从随处可见的智能电子设备到规模庞大的服务器集群,信息服务已经无处不在。在软件功能不断增强的同时,安全问题也变得尤为重要
矿井瓦斯爆炸事故是最严重的矿井灾害之一,给国家财产和人民生命安全带来极大威胁。因此,研究瓦斯爆炸事故的机理和特性,并利用虚拟现实技术形象、准确的再现矿井瓦斯爆炸的
在推荐算法领域,基于邻域模型的协同过滤(Collaborative Filtering,CF)推荐算法是一类较为经典成熟的算法,广泛的应用于当今各式各类的推荐系统中。随着大数据时代的来临,数
车标识别作为智能交通系统的一个重要组成部分,在车辆管理和交通管理领域具有广泛的应用前景,同时车标识别为车辆身份认证提供了重要信息具有一定的研究价值。现有的车标识别算
在高速发展的现代社会,传统的教育方式已远远满足不了人们对于知识的需求,同时也曝露出了诸多问题:知识更新速度慢、资源不足、资源利用不充分、教学成本高、问题解决不及时。