论文部分内容阅读
在线负载和离线负载混合部署(即混部负载)是解决大数据中心资源利用率低下问题的重要手段。在线负载资源需求预测和离线负载作业调度是混部负载资源调度的两个核心技术。目前,在线负载资源需求预测方法缺乏对资源使用特征的深入挖掘,因此存在预测准确度不足和时间开销较大的问题。此外,当前混部负载资源调度中对于离线负载作业调度策略采用随机的方式,并未考虑在线负载弹性资源需求对离线负载执行效率的影响,导致数据中心资源的无效利用和作业吞吐率低下。针对以上问题,本文提出了结合资源使用周期性特征的在线负载资源预测方法,并在此基础上提出基于运行时间预测的启发式离线负载作业调度方法,进一步提升数据中心的资源利用率。本文的主要贡献总结如下:(1)提出基于资源使用周期性特征的在线负载资源预测方法。本文在分析提取在线负载资源使用周期性特征的基础上,采用自相关函数方法量化计算在线负载资源使用周期,根据周期计算结果将资源使用样本序列划分成多个子序列;然后应用K-means算法对子序列分为常规子序列和异常子序列两类;最后加权综合常规子序列和异常子序列中资源使用变化率,计算在线负载资源使用的预测值。(2)提出基于运行时间预测的启发式离线负载作业调度策略。该策略首先选取数据规模、内存及CPU资源需求等相关因素,对数据中心离线负载的运行时间进行建模和预测。在运行时间预测的基础上,根据在线负载形成的弹性可用资源空间,利用模拟退火启发式算法对离线负载的作业调度进行问题建模及优化求解。(3)对本文提出的在线负载资源预测方法和离线负载作业调度策略进行了性能评测。实验结果表明,与既有基于ARIMA算法、支持向量回归算法和马尔可夫模型的在线负载资源预测方法相比,本文提出的基于周期性特征的在线负载资源预测方法可使预测平均相对误差最大降低28.3%、12.3%和27.4%。随着样本规模的增大,在时间开销方面,本文提出的方法优于对比对象。与既有基于公平调度策略和短作业优先调度策略相比,本文提出的离线负载调度策略可使内存利用率、CPU利用率及作业吞吐率的提升率最大分别为33.2%、16.3%和42.3%。