【摘 要】
:
云数据中心是互联网及相关产业的信息化基础设施。批处理作业是云数据中心的一类主要负载,批处理作业包含多个批处理任务,批处理任务是资源消耗的实体。随着批处理任务部署模式从独立部署模式向多租户混合部署模式的转换,运行于同一服务器上的多个批处理任务间由于资源竞争形成较为严重的性能干扰,这一现象已成为制约云数据中心服务质量的重要原因。另一方面,随着数据中心规模及负载种类的增加,采用传统任务组合枚举统计方法进
论文部分内容阅读
云数据中心是互联网及相关产业的信息化基础设施。批处理作业是云数据中心的一类主要负载,批处理作业包含多个批处理任务,批处理任务是资源消耗的实体。随着批处理任务部署模式从独立部署模式向多租户混合部署模式的转换,运行于同一服务器上的多个批处理任务间由于资源竞争形成较为严重的性能干扰,这一现象已成为制约云数据中心服务质量的重要原因。另一方面,随着数据中心规模及负载种类的增加,采用传统任务组合枚举统计方法进行准确的批处理任务性能干扰分析与预测的成本不断增加,难具可行性。针对上述问题,本文提出了基于数据中心海量日志分析的批处理任务干扰预测方法。该方法提取既有日志中任务干扰相关的特征,并基于机器学习理论构建了面向复杂并发执行环境的批处理任务干扰预测模型,能够较为准确地预测任务在任意动态到达的并发任务组合下受到的相对干扰,降低了任务干扰分析的成本并为数据中心任务调度和容量规划提供依据。具体而言,本文的主要贡献如下:1)基于典型日志开展了云数据中心批处理任务干扰量化分析。在排除数据倾斜和任务实例执行逻辑分支影响的前提下,验证了云数据中心中存在的任务干扰现象并量化统计了干扰对任务执行性能带来的影响,证明了使用任务执行时与之并发执行的任务组合信息预测任务间性能干扰的合理性。2)提出了面向任务干扰分析的海量任务分类方法。该方法首先对日志中记录的任务相关的原始特征属性进行统计分析,在资源需求、计算行为这两个维度上提取了任务干扰相关的特征属性。基于所选取的特征属性,从干扰分析的需求出发,首先以任务执行时长对任务进行分类,在每个分类中采用自上而下的层级聚类方法Bisecting Kmeans对任务进行递归的划分,最后通过将分类后相似的类簇进行合并减少任务总类数,从而降低任务干扰预测建模的复杂程度。3)提出了基于海量日志的任务干扰预测模型。首先提出了任务干扰特征表达模型,该模型分别以向量和时序矩阵的形式描述任务启动前后到达的并发任务集合,从而完整的描述了任务在整个执行周期中的并发任务组合的动态变化情况。在特征表达的基础上,构建了基于卷积神经网络的任务干扰预测模型。该模型针对任务并发执行特征提出了使用大卷积核以及较为简单网络结构的设计方法;并通过损失函数设计,解决样本数据倾斜问题,最终可较为准确地预测在与任意动态到达的任务组合并发运行时任务受到干扰程度。4)对海量日志任务分类方法和任务干扰预测模型进行了性能评估。与不分区的日志任务分类方法进行比较,本文所提出的面向干扰分析的任务分类方法可使任务类中任务干扰敏感度的离散程度平均降低42.8%;与既有三种有代表性的任务干扰预测模型比较,本文提出的任务干扰预测模型平均提升了31.72%的F1-score值。
其他文献
染料废水中的罗丹明B(Rh B)具有难降解性和易积累等特点,对人类产生巨大威胁。光芬顿技术对染料具有良好的降解效果,因而成为了处理染料的研究热点。MIL-88A(Fe)在光芬顿体系中具有较高的活性。然而,MIL-88A(Fe)光激发产生的e﹣-h﹢对易复合、水中稳定性不足等限制了其应用。而通过构建异质结可增强光催化活性。基于此,本论文制备了双Z型三元复合材料MIL-88A(Fe)/Ag3PO4/A
任何艺术风格的变化都是有多种原因的,再现艺术到表现艺术的转变过程是复杂的,现代艺术的形成和发展有历史条件的影响、美学思想的变化、加之艺术家个人对新的可能性地探索的驱动力。18世纪末印象派的出现代表着西方传统绘画和雕塑开始走向终结,标志着现代艺术的萌芽,自此艺术开始由再现向表现转变,直到现代艺术形成,现代抽象艺术的兴起,这个过程是漫长的。首先,本文从艺术中再现和表现的角度切入,论述艺术摹仿论、艺术再
量子点具有显著的量子尺寸限制效应,使其在同一光下,不同粒径的量子点会吸收不同波长的光。本文采用硫化铅量子点作为吸光材料,其制备成本低,产率高,吸光范围广,理论功率转换效率高,是第三代太阳能电池领域研究热点之一。其中,采用化学溶液法制备得到硫化铅量子点溶液,利用旋转涂膜法制备得到硫化铅太阳能电池。论文首先对硫化铅量子点的合成制备进行了研究,通过改变前体比例以及反应条件得到一系列不同尺寸的硫化铅量子点
随着现代化建设中各种大拆大建的改造形式,以及全球大环境突变带来的极端气候等要素影响,已对我国诸多城市均造成不同程度的城市内涝和雨水积存等问题。而在面对当代雨水问题的同时,水系网络在解决城市内涝现象问题时可起到极其重要的作用。在古代,先人们生产生活的过程中在没有现代化排水设施的情况下,必须利用天然地势来适应水患带来的系列问题,从而独具地方特色的理水智慧应运而生。江西赣州福寿沟,广州六脉渠,大观河,西
随着互联网技术的快速发展,网络规模不断扩大,网络应用急剧增长,网络行为也日益复杂,这对于网络的管理和维护提出了新的挑战。准确地预测未来时段的网络流量可以帮助运营商更加合理地分配网络资源,提供更好的服务质量,还有利于评估网络的承载能力,分析网络的健康状态。实时的异常检测则可以帮助运营商及时发现网络中的异常数据,快速地找到问题存在的根源,以避免不必要的损失。因此,面对日益复杂的网络环境,如何建立有效的
初中数学课程重要组成部分之一的“图形与几何”,它对培养初中生逻辑思维能力有着不可忽视的作用,初中二年级尤其是逻辑思维能力发展的关键时期。因此,图形与几何教学中培养初中生逻辑思维能力的策略研究具有重要现实价值。笔者通过查阅大量文献,确定以范希尔5个依次递增的几何思维水平为理论依据,对西宁市两所初中的253名初二年级学生的逻辑思维水平及教师教学中培养学生逻辑思维能力情况做了调查,得出:(1)大部分学生
本文立足拟人动漫灵感匮乏,拟人形象缺乏独特性与民族性等问题,从挖掘传统文化元素、丰富拟人动漫创作范畴入手,选取具有悠久历史和深厚根基的茶文化作为主要研究对象,通过具有符号性特征的拟人化手法,对茶文化中的诸类名茶进行拟人动漫角色的设计与创作。将茶文化造型元素通过概括提炼,形成符号化的拟人形象,激发了拟人动漫角色的创作灵感,扩大了动漫创作的文化精神领域,并在茶文化的传承发展中摸索新的思路与方向,为两个
在复杂敏感的网络流量背景下,用于网络安全研究的流量数据往往是有限且类型分布不均的。基于传统机器学习的入侵检测方法在样本检测的准确率和误报率等方面均存在不足。针对此研究问题,本文提出了一种基于稀疏自编码网络的多通道融合入侵检测方法。首先,为了从不同类型流量中学习对应攻击流量的特征模式,该方法利用不同类型流量样本训练不同的稀疏自编码网络,将稀疏自编码网络的编码层作为对应类型流量的特征通道,并通过双向长
湿地被称为“地球之肾”,近年来国家对湿地的保护和重视程度越来越高,对湿地的研究也成为了热点,盐生植物是柴达木盆地高寒湿地的重要组成部分,在维护高原地区生态安全有着不可或缺的角色,本研究在可鲁克湖-托素湖自然保护区内进行采样和相关分析,以柽柳(Tamarix chinensis)、盐爪爪(Kalidium foliatum)、芦苇(Phragmites australis)、白刺(Nitraria
改革开放以来,我国经济高速发展、成绩显著,但粗放式的发展模式也使得经济快速发展难以为继,并给经济体系留下了一些隐患:传统重工业产能过剩,相关企业杠杆率高企,银行不良资产率持续上升等。为此,国家在2016年提出要进行“三去一降一补”,债转股时隔17年后也再次被提出,2016年10月,国务院出台相关文件,从此新一轮市场化债转股正式拉开帷幕。与首轮政策性债转股不同的是,本次债转股是市场导向,在很多方面均