【摘 要】
:
以Docker为代表的容器技术的飞速发展,将云计算推向新的时代。容器技术凭借轻量级虚拟化、隔离性强、启动快、可移植等优势,成为企业应用部署的热门工具,可以说已经占据云计算领域的半壁江山。而Kubernetes容器编排平台自谷歌于2014年开源以来,就因其先进的设计理念、强大而完备的容器编排和集群管理能力,受到业界的高度关注,已成为容器编排领域的事实标准。本文通过分析Kubernetes及其批量任务
论文部分内容阅读
以Docker为代表的容器技术的飞速发展,将云计算推向新的时代。容器技术凭借轻量级虚拟化、隔离性强、启动快、可移植等优势,成为企业应用部署的热门工具,可以说已经占据云计算领域的半壁江山。而Kubernetes容器编排平台自谷歌于2014年开源以来,就因其先进的设计理念、强大而完备的容器编排和集群管理能力,受到业界的高度关注,已成为容器编排领域的事实标准。本文通过分析Kubernetes及其批量任务计算平台Volcano的调度机制和相关调度策略,发现Volcano平台当前实现多租户资源分配公平的方案是在任务调度的Allocate动作阶段使用DRF算法,同时提供了 H-DRF算法作为可选的层级调度策略。但是,这两种算法仅考虑了调度时刻各用户的资源占用情况,都不具有长期公平特性。同时,Volcano平台调度策略不够完善,可能会导致平台工作节点资源利用率低下问题。论文尝试设计合理的算法和策略来解决这些问题。首先,论文设计出具有长期公平特性的DRF-LTRF算法,并结合H-DRF算法,提出具有长期公平特性和层级调度能力的LT-H-DRF算法。当前存在的具有长期公平理念的H-MRF算法由于过于重视历史资源分配,而未考虑当前时刻用户资源分配情况,可能导致用户作业饥饿和资源震荡问题。本文将H-MRF算法与DRF算法结合,提出最小应得份额的概念。在调度过程中先使用DRF算法使每个用户获得其应得主导资源份额,之后,平衡用户的累计资源,对累计资源总量较小的用户给予资源补偿,从而实现了能够避免上述问题发生的长期公平算法DRF-LTRF。最后,论文尝试将DRF-LTRF算法与H-DRF算法结合,通过构建一棵记录用户及用户组的累计资源及主导资源份额的层级树,优先对累计资源使用量较小的用户(组)进行资源分配,实现了具有长期公平特性和层级公平调度能力的LT-H-DRF算法。之后,论文结合Volcano调度框架进行调度系统设计,并通过实验分析设计出的调度模块实际工作效果。论文首先设计出长期公平层级调度模块,将LT-H-DRF算法应用于任务调度的Allocate行为阶段,实现调度系统的长期公平特性和层级公平特性。之后,论文分析Volcano平台导致资源利用率低的调度策略缺陷,通过监控节点资源实时使用情况,以实时节点资源使用量作为调度决策依据,将处于BestEffort等级的任务调度到实际资源使用量最小的节点上,提出了适用于Backfill动作阶段的RealTimePriority优选策略。随后,进行实时调度模块设计,并搭建该策略所依赖的资源搜集和监控模块。通过建立Kubernetes集群,部署设计出的调度系统,进行对比实验分析,验证了提出的算法和策略达到预期效果。本论文针对Kubernetes批量任务计算平台Volcano的资源调度方案进行优化,完善调度算法的公平属性,并优化节点资源的利用率。对于提升容器云平台调度能力和多租户资源分配的公平性,及提高云平台资源利用率具有重要意义。
其他文献
俄国形式主义注重文学作品本身,其“陌生化”理论也探讨了文学艺术的自身特性,它打破文学创作的无意识状态,把“手法”摆在重要地位。基于形式主义,《玩偶之家》作为戏剧作品本该是“陌生化”理论付诸实践的证明,但究其创作时期早于“陌生化”理论诞生之前,因此该戏剧“陌生化”的证明只能变为“陌生化”的倾向,这种“倾向”增强了理论诞生的必然性。本文在梳理理论背景的前提下,试图从实体隐喻下的悲剧美、话轮转换下的权力
近年来随着云计算的迅速发展,容器即服务(Containers as a Service,CaaS)逐渐成为一种服务模式,容器云的规模不断增加,导致容器云的资源消耗大和资源利用率低的问题日益突出。由于虚拟化技术是云计算的核心技术,所以容器放置迁移算法的研究对该问题的解决有重要意义。为此,本文分别从容器放置和容器迁移两个方面展开研究以解决上述问题,主要研究内容如下:针对使用启发式算法解决容器放置过程中
网络功能虚拟化(Network Functions Virtualization,NFV)架构中,在通用服务器上以软件形式实现的网络功能称为虚拟网络功能(Virtualized Network Function,VNF)。虚拟化的特性使得服务功能链(Service Function Chaining,SFC)可以动态迁移,这为业务提供了必要的灵活性。由于VNF资源需求随着网络流量而时变,网络中可能
随着无线通讯技术的迅猛发展,移动互联网使得人们在移动状态中能够随时随地访问互联网资源,使用网络服务。以手机,平板电脑为代表的移动智能终端迅速普及,人们的生活习惯也随之变化。例如,移动定位技术可以帮助人们寻找停车位,寻找餐馆;移动众包技术可以利用尽可能多的移动终端快速实时地记录各种各样的数据,为强大的工业系统提供支撑。但是移动用户的信息如果被不经意泄露,甚至被恶意上传时,敌手就可以推断出参与者的位置
当前云计算与虚拟化的迅速发展以及混合云架构的广泛使用,为政府和企业带来了数据与业务的新载体,并为其信息化建设提供了坚实基础,促进政企数据及业务上云的进程。政企在云环境应用中,具有多样的、差异化的需求,云环境也随之变得愈加复杂。私有云与公有云的搭建与部署也带来了混合云架构的广泛使用,而混合云在满足建设者不同需求时也带来了异构多云面临的问题。多云环境下的云服务,虚拟机作为其服务单元和基本载体,直接决定
随着网络用户隐私保护意识的增强,匿名网络的使用者越来越多。为了满足更多的用户,匿名网络中的志愿者节点随之增加。现有的中心式目录服务将整个网络的目录信息分发给每个节点的分发机制,使得其带宽消耗与节点规模呈二次方增长,缺乏可扩展性。而分布式目录服务由于没有可信的认证机制,其抵御攻击的能力有所欠缺。为了提高匿名网络目录服务的可扩展性,同时保证其安全性,本文提出了 一种混合式匿名网络目录服务架构(Hybr
随着网络的飞速发展,人们对于数据安全信息安全的要求与日俱增,数据加密传输成为保护用户隐私以及保证网络安全的主要手段。但网络加密在保证用户数据保密性和完整性的同时,越来越多的攻击者也企图通过加密来隐藏攻击行为,通过Https进行C&C连接以传输指令以及通过加密绕过防火墙及入侵检测系统等,这为恶意流量识别带来了新的挑战。如何在不解密流量保护用户隐私的前提下,有效地检测恶意加密流量成为了亟需解决的问题。
工业互联网[1]在工业生产,制造,销售,物流各个方面都发挥了重要作用,并且随着5G移动通信技术的广泛应用,低时延、大带宽的通信技术得到广泛普及。工业互联网中核心技术的标识解析更实在实现信息共享溯源、网络互通互联、产品设备全生命周期管理的各个方面都发挥了重要作用。但是现有的传统标识解析体系的根节点权力过大,中心节点提供集中式的解析服务,同时现有的Handle、Ecode、OID等标识解析系统标准很难
近年来,随着数字货币价格的高涨,越来越多的电子设备被投入到了挖矿活动中,造成了电力和计算资源的浪费。据IBM的报告显示,挖矿木马已成为当前云环境中主流的恶意软件。对挖矿活动的检测在能源和网络安全方面都有着重要意义。币种识别是一种更精准的挖矿检测方法,有助于对挖矿活动进行更精细化的管理。本文基于Adaboost算法,提出了一个挖矿检测模型和币种识别模型,挖矿检测模型的准确率能达到97%,币种识别模型
网络安全评估是网络安全研究领域一个重要方向,其理论研究成果颇丰,但其应用方向缺乏对场景特殊性和当前新技术的研究。现今应用背景下,系统部署、运行愈发复杂,系统高性能稳定运行离不开负载均衡技术。然而在微服务、容器云等技术愈发成熟的今天,现有技术框架提供的负载均衡功能仍存在不足,难以符合网络安全评估系统应用发展的需要。首先研究Kubernetes平台负载均衡策略的缺陷,提出一种自适应负载均衡算法,并在K