【摘 要】
：
以kubernetes为代表的云集群统一管理与调度系统已经成为对大规模分布式物理机群进行统一管理的普遍选择。由Google公司开源的kubernetes具有容器化、轻量级、高性能、组件化和开源社区生态等诸多优点,它的迅速发展也将互联网正式带进云原生时代。目前,国内外各大互联网公司争相发展云原生技术,基于原生kubernetes设计并开发新组件与新场景下的优化算法。为了进一步扩大kubernetes
论文部分内容阅读
以kubernetes为代表的云集群统一管理与调度系统已经成为对大规模分布式物理机群进行统一管理的普遍选择。由Google公司开源的kubernetes具有容器化、轻量级、高性能、组件化和开源社区生态等诸多优点,它的迅速发展也将互联网正式带进云原生时代。目前,国内外各大互联网公司争相发展云原生技术,基于原生kubernetes设计并开发新组件与新场景下的优化算法。为了进一步扩大kubernetes集群的节点规模并解决业务生产中面对的多复杂调度场景,本文提出一种面向大规模kubernetes云集群的统一调度方法,通过底层设计一种新的基于全局约束思想的规划模型,使集群可以支撑5000~10000台物理节点的高效调度,同时将Pod平均调度延迟控制在毫秒级。我们的调度模型同时研究并优化了工业界基于负载均衡的重调度场景和拓扑任务的DAG调度场景,提高了分布式云集群的整体调度效率。本文的创新工作成果主要包括:（1）提出了一种基于全局约束设计的全新整数规划模型Tetris Packing,将问题的求解复杂度从传统模型的O（m*n）（其中m为集群节点数,n为待调度任务数）优化到O（2*n）,大幅提高了kubernetes云集群最大节点上限,且对Pod的平均调度延迟达到毫秒级。Tetris Packing同时还解决了工业场景需求的重调度场景,通过降低集群资源的标准差来维持集群负载均衡,提高集群资源整体利用率。（2）自主设计并开发了基于kubernetes集群的调度组件Cardinal,通过聚类采样与空间并行算法将原问题规模缩放为n个相似的小规模子问题,大幅提高了Tetris Packing模型的求解速度,并补充加入去热与路径规划算法,共同构成一套完整的kubernetes调度方案。我们分别通过Google和蚂蚁公司发布的Trace数据进行调度、重调度等多个场景实验,并证明Cardinal在集群标准差、平均调度延迟等多个核心指标上方面比Borg、Ant调度器优化均超过20%。（3）提出了一种面向DAG任务调度的自适应优化方法Neuro Sched,优化工业界中容器运行存在相互依赖关系的DAG调度问题。该算法结合强化学习与拓扑增强进化网络,通过马尔可夫过程训练得到一个适用于调度模型的拓扑神经网络。实验证明该算法相较于启发式等算法有效缩短了Makespan,提高了任务调度效率。
其他文献
武术是中华传统文化的重要载体,同时也是中华传统文化的重要组成部分。自古以来,武术作为中国人民身体文化的结晶,在山西大地一直有着悠久的历史和良好的发展。当下,时代赋予我们的历史使命是实现民族文化复兴,而民族文化复兴的实现需要继承、发扬中国优秀传统文化。普通高校作为传承优秀中华传统文化的重要阵地,肩负着培养社会主义建设人才的重任,对于新时代中国传统文化的科学可持续发展具有重要的价值和意义。本研究以中国
目的探究门诊老年患者跌倒的防范预案以及急救措施。方法本文选入资料为2019年6月～2019年12月就诊的老年病人,含有样本76例,以随机法分组,参照组资料应用基础预防急救干预,研究组资料应用特殊预防急救措施,评估所有数据结果指标。结果研究组患者的跌倒情况较少于参照组,且该组资料的护理效果较好,组间数据对比差异显著,统计学意义存在（P＜0.05）。结论予以门诊老年患者特殊跌倒预防急救方案的效果显著,
水系可充电锌离子电池（ZIBs）作为一种能量密度高、安全性高、成本低、生态友好的新型储能技术,近年来得到了广泛的研究。在众多研究的正极材料当中,锰氧化物因其较高的工作电压和较大的容量而具有广阔的应用前景。但MnO2材料循环稳定性差,电导率低等问题限制了其在ZIBs领域的发展。因此,本文通过层间填充碱金属离子、与碳材料复合和原位合成MnO2-碳复合材料等策略制备了高比容量且循环稳定性良好的MnO2正
农村环境治理是推进美丽中国建设的一个重要环节。近年来,随着农村生活垃圾的不断增加,“垃圾围村”现象在农村频频发生,严重制约了农村的建设发展。因此,如何科学有效开展农村生活垃圾治理,成为当前新农村建设中的一大课题。国内外经验普遍表明,对生活垃圾采取分类是破除“垃圾围村”困局的关键。农村生活垃圾分类处理是美丽乡村建设的核心内容,进一步加快推进农村生活垃圾分类处理是推进新农村建设,改善人居环境的必由之路
网络游戏成瘾（Internet gaming disorder）是指网络游戏玩家投入过多时间在网络游戏中,并且对自身长期的过度的游戏行为难以控制,沉迷网络游戏无法自拔。研究证明,网络游戏成瘾会损害多种重要的认知功能,如抑制控制、奖赏敏感性等方面。功能性核磁共振研究发现在网络游戏成瘾被试人群中,与执行功能和奖赏相关的大脑区域激活存在异常,这些脑区包括背外侧前额叶、眶额叶皮层、前扣带回、后扣带回、脑岛
随着我国居民的生活消费水平不断提升,生活节奏日益加快,速冻食品被越来越多的消费者青睐,并且成为日常饮食的一部分。速冻蔬菜作为速冻食品的一个主要分类,近年来,市场规模也在不断扩大。随着冷链物流的不断完善和生鲜电商的发展,无形中为速冻食品开拓了市场。但速冻蔬菜在国内的普及程度却还不够,当前国内消费者对速冻蔬菜的认知度不高,国内消费市场存在巨大的发展空间。本文的研究对象是宁夏虹桥有机食品有限公司,是一家
近年来,随着无人机技术的日益精进,越来越多的领域开始应用无人机解决问题,例如在内蒙古自治区的畜牧业中,很多的研究人员对于使用无人机来降低人力成本,提高放牧效率很感兴趣。无人机不仅移动性强,还拥有易于部署,成本较低等特点。这些特点使得借助无人机辅助传感器网络完成地面目标定位成为了可能。牧民可以通过简单的部署,远程操控无人机,通过传感器定位地面动物。那么,如何使得无人机协同传感器出色地完成定位任务就成
近年来在“工业4.0”的时代背景下,我国开始高度重视工业领域与信息领域的深度融合,推动工业信息化、智能化已迫在眉睫。边缘智能,这一结合了边缘计算与人工智能的新兴技术,通过将智能服务从传统的云中心迁移至边缘端,能满足工业应用对高质量、低延迟的服务需求,因此边缘智能技术已成为我国产业智能化的重要推进力。然而,目前由边缘节点层与终端层组成的智能系统,依然存在两个严重影响系统整体性能的问题:1)在资源异构
随着时代的进步、互联网科技的迅速发展,网络心理学越来越成为社会大众与学术界关注的热点。积极心理学的兴起为网络心理、网络行为研究开启了新的方向,人们不再局限于关注网络带来的负面影响,也开始注意到其发挥的正面作用,如“网络利他行为”。高中生、大学生青年群体是未来网络使用的主力军、互联网行业发展的生力军。对青年网络利他行为的研究既可以丰富网络心理学的研究基础,又能够发挥网络的积极作用,促进网络生态健康、
近年来,随着云计算市场规模的高速增长,数据中心的数量和规模迅速扩张,但同时也带来了电力资源消耗大和资源利用率低的问题。为了解决这一问题,目前数据中心普遍采用电力超额订购（Over-subscription）的方式,在现有供电能力范围内运行尽可能多的服务器。电力超额订购的基本假设是所有服务器的功耗同时达到峰值状态的概率很低,但是当大量工作负载同时运行在多台服务器上而产生功耗峰值时,会增加数据中心断路