基于历史日志的作业运行时间预测

来源 :中国工程物理研究院 | 被引量 : 1次 | 上传用户:pretter
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在高性能计算作业调度中,许多调度算法依赖于对作业运行时间的准确估计,尤其是以EASY为代表的回填算法,使用用户提供的作业运行时间往往会降低调度性能。为了提高超算平台资源的利用率,减少机器资源的空闲,需要开发一种准确的预测作业运行时间的算法。当前已有的运行时间预测算法分为代码分析和历史日志两大类。对代码进行性能建模需要获得用户提交程序的源代码和大量的编译知识,其可行性不如通过日志分析进行预测。通过日志分析进行作业运行时间预测有许多模型,本文把已有的基本方法分为卷积神经网络模型,统计学模型,基于聚类的预测算法和基于回归的预测算法。当前已有的预测算法存在预测精度不足,低估率高或只适应特定类型作业的问题。在已有模型的基础上,我们形成了一套完备的作业运行时间预测评价准则,并建立了自己的预测算法GA-Sim。GA-Sim把分类和基于实例的学习结合起来,并采用遗传算法训练模板参数。通过模板筛选有用的历史数据,使用SVR的给出运行时间预测。结合低估因子和正则因子,能够防止产生低估和过拟合的预测结果。这套预测算法还可以应用在分布式计算和工作流预测中,适应于提升具有各种作业信息特征的作业集群资源利用率。与已有的算法相比,GA-Sim在HPC2N04数据集上降低了 43%的平均绝对误差。本文主要的创新在于提出了一种新型的基于调度历史日志的超算作业运行时间预测算法,即GA-Sim算法。对预测算法进行了模型验证,给出了 GA-Sim和其他几种算法的预测结果,分析了 GA-Sim的低估率和平均绝对误差。与其他几种预测算法的性能比较实验结果证明我们的算法在几个方面都优于其他算法,能够较好的克服数据集的缺陷。根据这一结果,我们给出了选择预测算法的建议在调度环境上做了基本的验证。两种仿真环境下的调度结果显示,在已有数据集上使用本文算法的预测时间相对于使用用户给出的预测时间可以减少系统中至少40%的平均等待和39%的有界减速。因此,可以得出使用基于GA-Sim预测算法的估计时间比基于的用户估计更能提高调度的效率的结论。本文还把GA-Sim应用在分布式作业预测的算法,证明GA-Sim在并行计算的各个领域都具有潜在的价值。
其他文献
在西方美学史中有许多有关绘画理论的名词,"得体"便是其中之一。在不同的历史阶段中,得体的含义以及意义会有所不同。早期在基督教艺术中,得体不仅是礼仪道德的规范,还是美的
二氧化铈(CeO2)是一种重要的催化剂组成材料,被广泛用于汽车尾气净化、VOCs消除、水煤气转变反应、重整反应等。常用的CeO2制备方法主要包括热分解法、沉淀法、溶胶-凝胶法、
以木薯品种‘新选048’为材料,进行不同灌水量与灌溉方法对土壤理化性状、木薯生长及产量影响研究,以探讨木薯苗期最佳的灌水量与灌溉方法。结果表明:同一灌水量下,膜下滴灌
恩诺沙星(Enrofloxacin,ENR)为人工合成的氟喹诺酮类抗菌药物,被广泛用于多种动物感染性疾病的预防和治疗。近多年来,RNR在水生动物疾病的防治中应用愈来愈多。然而ENR的大量使用,可能造成其在动物源食品中的残留,严重影响到人类的身体健康。传统的检测方法中,高效液相色谱等检测,需要复杂的样品前处理,贵重的大型仪器,耗时较久。本研究中将ENR的核酸适配体组装在纳米金(Au nanopart
针对目前人工骨设计中产生的生物活性差、设计周期长、植入人体内出现排异现象等问题,提出了一种基于知识的人工骨三维结构仿生设计方法;结合人体的知识模型,分成人工骨外部三维
剪切增稠液体(STF)是一种新型功能材料,具有响应速度快,可逆性好,耗能效率高等优点。本文将一类STF液体填充于汽车防撞梁的吸能盒中,对其抗冲击性能进行了系统性的仿真与试验
氟化铝是一种较强的固体酸,具有优异的Lewis酸性能,既可作为主催化剂也可作为载体。它在F/Cl交换、脱HF反应和歧化等反应中具有广泛的应用。且其经济环保,来源广泛,制备过程简单,近年来已经得到了越来越多的关注。本论文探索采用三种路线调控制备具有不同形貌、不同晶型、不同比表面积的氟化铝催化剂,并以含氟烷烃催化裂解(脱HF)反应对催化剂进行活性评价。通过XRD、BET、FT-IR、XPS、SEM、T
以现在应用较广泛的电子器件-MOS器件在电磁环境中的失效建模为例,针对MOS器件受到电磁脉冲和周期脉冲的冲击后,所表现出来的失效特征,得出它符合基于随机过程的退化失效模型
随着国际上对全球气候变化日益关注,各国之间的文化交流也日益频繁,人们对翻译的要求也与日俱增。日本因其地理位置而异常气象层出不穷,而中国与日本一衣带水,气候类型有相似之处。因此,为了借鉴日本人民丰富的气象史经验,译者选译了《気候で読み解く日本の歴史》,并以纽马克的交际翻译理论作为理论指导,力求达到译文对译语读者的效果尽量等同于源文对源语读者的效果,使得译文合乎汉语的表达习惯与表达规律,为中国气象研究
大数据时代的来临,数据量的增长速度令人惊叹,给予社会更多的信息资源。作为记录社会发展、解读新闻事件、传播信息的新闻传播领域必须紧跟时代发展步伐,不断更新新闻报道方