面向大规模服务集群调度冲突检测和控制算法的研究

来源 :云南大学 | 被引量 : 0次 | 上传用户:heigezi123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
共享状态调度是一种服务集群资源管理和调度的架构,它将资源管理和任务调度功能进行了解耦并采用了多调度代理对集群中的任务进行调度。它解决了传统的集中式调度存在的扩展局限的问题,在大规模服务集群中得到了很好的应用。然而,共享状态调度存在冲突检测算法单一和灵活性差以及高负载时调度冲突导致调度性能恶化问题。因此,本文对共享状态调度进行了深入地研究,并针对它存在的这些问题提出相应的解决方法。论文工作分别从大规模服务集群的调度架构、共享状态调度下的冲突检测算法和调度相关算法三个方面展开,主要内容如下:1、提出了一种基于并行验证机制的共享状态调度:PVBSSS(Parallel Validationbased Shared-state Scheduler)架构。该调度架构首先采用了多个调度代理通过共享的集群资源使用状态信息并发地进行调度决策工作,然后通过冲突检测算法解决这些并发生成的调度决策之间冲突问题。对不同类型工作负载的调度决策,PVBSSS支持采用不同的冲突检测算法处理冲突。因此结合服务集群中常见的批处理型工作和服务型工作的调度需求,分别提出了对应的冲突检测算法:并行的粗粒度冲突检测算法和并行的细粒度冲突检测算法。通过在OCSS(Omega Cluster Scheduler Simulator)平台进行的上万台服务集群中一天内近百万工作的调度测试显示,PVBSSS能够灵活和高效地完成大规模工作负载的调度,并且它的两种冲突检测算法相较已有的细粒度冲突检测算法更能有效检测出潜在的有害冲突,同时受调度决策时间影响相对较小,因此更能适应多种调度策略并存的应用环境。2、提出了一种多属性融合冲突检测算法。对批处理型任务,该方法首先建立了其多属性模型,然后根据证据融合规则将多个属性的属性值融合为一个表征工作重要程度的属性值,最后在冲突检测时优先通过该属性值大的任务调度决策,从而通过控制冲突决策来完成对批处理类型工作调度的整体优化。此外,算法还采用了主观赋值和证据加权平均合成两种方法对融合权重进行设置。实验结果表明,该算法能够达到优化批处理型工作调度性能的目的。3、提出了进行冲突预防和控制的算法:具有冲突预防功能的批抽样调度算法,基于机会成本的冲突预防批抽样调度算法和基于随机早检测(RED:Random Early Detection)机制的准入控制算法。具有冲突预防功能的批抽样调度算法在调度时除了考虑资源需求和任务约束外,在为任务选择机器时主要考虑了机器上调度决策的并发情况,通过选择并发调度决策较少的机器来达到冲突预防的目的,该算法的理论和实验分析显示它能够显著地减少冲突。基于机会成本的冲突预防批抽样调度算法在为任务选择机器时同时考虑了机器边际成本和冲突等多种因素,该算法的实验分析显示了它能同时兼顾负载均衡、减少搁浅资源和冲突预防等目标,更适合复杂的调度环境。作为本文提出的最后一个算法,基于随机早检测机制的准入控制算法主要通过服务集群中实时冲突情况对工作的准入进行控制,避免冲突频繁时准入过多工作带来的调度性能恶化问题,该算法的实验分析显示它能在集群高负载时有效地对冲突进行控制。
其他文献
临县是吕梁乃至整个山西的重要产枣大县,枣树林是临县最大的人工群落。枣树和红枣在临县生态保护、经济振兴和社会发展中具有不可替代的作用。为了推进临县红枣产业化的健康
基于异步传输模式的无源光网络(APON)系统中的光网络终端(ONT)作为一个智能的宽带网络终端是实现光纤入户的重要设备。它是APON系统中置于用户家中的多媒体设备,可将图像、语音、
【正】 在研究香港90年代繁荣策略和两地经济关系时,不少国内外学者提出香港要加强它和中国南方的联系,建立华南经济区。 所谓华南经济区,是指广东、福建、海南、香港和澳门
期刊
目前,脉冲电源在铝合金微弧氧化方面应用较广,而在传统氧化着色领域应用较少。采用数控脉冲电源在硫酸银溶液中对铝进行电解着色,探讨了脉冲电解着色工艺参数对着色速度和膜
从物资采购部门供应商管理存在的问题、物资采购部门供应商管理的原则以及对物资采购部门供应商管理的建议这三个部分来展开对"物资采购部门供应商管理存在的问题及建议"这一
[目的]通过对不同采收期老翘内连翘苷、连翘酯苷A、浸出物的含量测定,为老翘适宜采收期的确定提供科学依据。[方法]采用HPLC法测定不同采收期老翘果实中连翘苷、连翘酯苷A的
<正>亨利·詹姆斯是19世纪享誉世界的著名小说家、文学家和评论家,是心理分析小说流派的创始人之一,他的作品在西方文学史上有着重要的意义和影响。长篇小说《贵妇画像》是亨
本文研究了20个商用大豆分离蛋白样品的结构特征和功能性质,并分析了它们之间的相关性。结果表明,这些样品的平均粒径为16.73-388.27 nm,Zeta电位为-19.90--32.00 mV,表面疏
本文介绍了玄武岩纤维的基本性能及应用情况,研究了比重瓶测定玄武岩纤维的密度的方法,为纤维的密度测定提供一种简单有效的测试方法。
目的分析2型糖尿病患者左心室舒张功能与B型脑钠肽的关系。方法收集100例2型糖尿病患者(B型脑钠肽≥100 pg/mL)。超声心动图测量指标包括左心房收缩末期容积指数(LAVI)、舒张