面向回填优化的vasp作此执行时间预测的研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:net917208
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来各领域对高性能计算的需求与日俱增,服务商为了迎合计算需求通常需要在硬件资源上投入大量资金,而大部分平台的资源利用率却并不高,故集群资源的有效利用成为一个亟待解决的问题。众所周知,调度策略是联系上层作业和底层硬件资源的中枢,其对资源利用以及用户体验影响显著。而目前国内大部分高性能计算集群通常采用先来先服务等传统的作业调度方法,因为此类调度方法实现简单、实用性很强。然而,为了保证公平性原则,当需要调度一个资源需求较大而现有空闲资源不能满足的大作业时,往往需要为其预留资源,这就容易产生大量闲置的资源碎片。针对上述问题,一种比较普遍的策略是使用回填,它优化了资源碎片的利用,但好的回填依赖于对作业执行时间的预知,而由于作业预估执行时间的缺失使得回填调度很难在生产系统中运用,故对作业执行时间的预测也是亟待解决的问题。鉴于vasp是国内应用最普及的高性能计算应用软件之一,在我校TC4600平台上,其作业数占比约43%,机时占比约50%,故对vasp作业时长进行预测具有重要意义。本文分析了 vasp作业特性,通过解析日志及输入文件来抽取相应的作业特征集,基于这些特征集提出一种基于stacking模型的二次学习算法IRPA,对vasp作业进行时长的预测,该算法在多个子模型预测结果的基础上进行二次训练,结合各个子预测模型的优势,以此达到更高的预测准确性。之后进一步提出基于径向基网络的预测算法BRBF,该算法主要是利用径向基网络对未知非线性函数拟合的优越性。我们利用我校TC4600平台上的真实的vasp作业数据集对IRPA以及BRBF算法进行测试验证。实验结果和其他几个基本方法进行对比,表明了 IRPA以及BRBF在粗粒度下具有较高的预测性能。最后,我们将BRBF算法对vasp作业的预测结果与回填调度相结合,用TC4600平台上真实的工作负载进行仿真模拟,实验结果和几个基准方法对比,进一步表明了我们工作的价值和意义。
其他文献
唐太宗是中国历史上文武全才的皇帝,他的诗歌大都显现出雄健高迈,感情激越,格调不俗的特点,初步体现了南方“清绮”与北方“贞刚”相融合的美学理想,在扭转华靡诗风,开创新的美学思
<正> 罗汉松四季常绿、树姿婆娑,不畏寒暑,不忌燥湿,既可地栽又宜盆植。其萌枝力强、耐修剪、易造型,可制成不同风格的盆景,是原产我国的上佳盆景树种。但罗汉松生长缓慢,从
代理成本理论的研究是现代上市公司中公司治理理论中主流理论之一。早些年,对于代理成本问题的研究主要是研究上市公司股东与公司管理层之间的代理成本问题。但是,随着上市公
三苏以文章议论名世,为一代文学巨擘,与其文学成就相辉映的是他们的史学成就,而史论是他们史学的重要体现。史论分两种类型,一是对客观历史过程与历史人物事件的评论,即历史
生命是宝贵的,没有生命的世界是残缺的世界。随着我国科技的进步,经济的发展,社会体制的转型,人类的物质生活日益丰富。在现实生活中,大学生面临着前所未有的发展机遇的同时,
本文以基本的X型斜插板焊接管节点为研究对象,进行了轴压试验研究,同时结合了非线性有限元数值分析,主要考察了夹角(θ)和相对板厚(τ)对X型斜插板焊接管节点的轴压受力性能、破
<正>中国共产党第一次全国代表大会1921年7月23日晚,中国共产党第一次全国代表大会在上海法租界望志路106号(今兴业路76号)正式开幕。出席者有上海的李汉俊、李达;北京的张国
横切机组是把钢卷剪切成规定长度的成品机组,由于定尺飞剪能够使横切机组连续化高速生产,因此在横切机组得到了广泛的应用。宝钢某横切机组使用一种桥式飞剪,它的定尺误差可
近年来,我国司法鉴定正朝着职业化的方向迈进,并在此环境下,全国各地司法行政机关相继围绕司法鉴定相关制度的进一步完善展开了探讨,特别是有些地区或省份已经初步构建并实施