基于强化学习的CDN缓存动态分配策略研究

来源 :周焜 | 被引量 : 0次 | 上传用户:lsfgis
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
内容分发网络(Content Delivery Network,CDN)通过靠近用户的边缘缓存节点向用户提供内容,截至2021年互联网中77%的流量经CDN进行加速。在CDN的边缘缓存节点上往往多个流量类共享同一个缓存池,且不同流量类的负载模式存在高度复杂性和强动态性,如何对各流量类的缓存空间进行按需动态分配,对CDN的服务质量影响很大。然而目前常见的使用“白盒”思想进行缓存空间分配的基于缺失率曲线建模的方法,只在使用最近最少使用算法作为缓存替换算法的场景下有效,不具备通用性,并且由于计算和存储开销过大,无法在线使用。针对上述问题,使用“黑盒”思想将缓存动态分配问题建模为序贯决策问题,并提出了一种基于强化学习的端到端的缓存动态分配算法RLCA。根据不同流量类在内容尺寸、流行度、负载动态性等特征的差别,设计了多维度的状态空间,使得模型可以更好地学习到不同流量类在缓存节点上的动态负载特性;为了消除负载本身的性能波动对模型的影响,以全局性能最优为目标定义了当前状态的长短期收益,并设计了可以容忍短期性能下降的复合奖励函数,以最大化CDN缓存节点整体性能;针对模型训练时间过长的问题,设计了离散化的动作空间以降低模型输出维度,加速模型收敛;最后结合RLCA设计实现了CDN分区缓存动态分配框架,使用离线训练和在线使用的机制,进一步降低算法的使用开销。为了验证RLCA在CDN分区缓存系统对缓存空间动态分配的有效性和高效性,使用国内知名云服务商的真实CDN边缘节点的访问日志,进行了综合的性能评估,结果表明RLCA在各项性能指标和开销节省方面都有显著效果。相比于现有商业CDN所使用的静态均分缓存配置方法,RLCA提升了4.03%的整体对象命中率,减少了7.36%的回源流量和11.34%的平均延时;对比最新的基于缺失率曲线的动态规划方法,减少了98.93%的内存开销和99.99%的时间开销。
其他文献
随着信息技术的发展,网络中存储的数据越来越多,但数据对个人的价值有限,只有通过数据共享才能更好地利用数据的价值。由于隐私数据和单点失效的存在,中心化托管的数据共享技术很难得到数据所有者的信任,因此需要一种可靠的分布式基础设施来保证数据的安全共享。区块链技术作为可信的去中心化数据库已经在金融、供应链、医疗等越来越多的领域被广泛使用,大量有价值的数据被存放到区块链上,对链上数据的搜索需求也逐渐体现了出
学位
随着信息技术的发展,网络空间面临着越来越多的安全问题。高级持续性威胁(Advanced Persistent Threat,APT)是一类以复杂性高、针对性强、隐蔽性好为特点的网络安全问题,其危害性远远超过普通网络攻击,且传统的网络攻击模型难以对其进行准确刻画及分析。因此,对APT的建模及分析方法进行研究是很有必要的。围绕APT与普通网络攻击的不同,从三个方面为APT构建模型,并基于所提出的模型对
学位
2020年第七次人口普查数据显示我国人口总量为14.1亿,其中60岁及以上人口占比已到达18.7%,农村人口老龄化现象较城镇地区更为明显,60岁及以上老年人口占比高达23.8%。随着我国国民经济发展和人民生活水平提高,人均预期寿命不断增加,以及在城镇化进程中农村青壮年劳动力向城市非农部门不断转移均加重了农村人口老龄化程度。农村人口老龄化的过程也是乡村振兴不断推进的过程,农村非农产值持续增加,农业机
学位
随着人口老龄化进程的加快,其对社会生产力的影响已变得无法忽视。制造业作为立国之本,对中国经济发展起着至关重要的作用,同时党的十八大强调中国经济增长不能再依靠要素投入,而是应转变为由生产率驱动的方式。面对“人口红利”的消失,中国制造业必须通过技术创新实现技术进步来维持自身竞争力。因此,厘清人口老龄化如何通过影响技术创新进而作用于制造业全要素生产率具有重要意义。本文使用2008-2019年间中国制造业
学位
随着高新技术的发展和航天应用需求的扩大,越来越多的航天任务已经无法通过单颗卫星来完成。因此,由多颗通过星间链路相互连接的卫星节点组成的分布式卫星系统显然已经成为各个领域研究的热点。这种系统具有规模庞大,结构复杂,功能全面的特点。微纳卫星网络(MS)作为一种新颖的空间分布式系统,具备星群协同运行、网络重构迅速、系统健壮性好等特点。然而,由于微纳卫星网络的移动性和任务环境的复杂性,其拓扑结构变化频繁,
学位
清朝入关后,其田赋税收征收规模建立在明代万历年间的基础上,并且中央一级田赋收入的数字长期保持稳定,这一现象被研究者称之为“原额主义”。但清代的田赋制度采取实物税(交粮纳税)+货币税(交银纳税)的复合征收架构,此时名义上的原额主义是不是真正体现为定额化,实际上是一个有待深入检验的问题。本文分别从粮食征收规模和白银征收规模两个维度对田赋数据进行作图分析,初步验证了税收的“原额主义”。通过引入货币因素,
学位
中国形象是卢梭建构个人政治思想体系必不可少的对照系统。卢梭的中国观包括:较为先进的管理制度、虚有其表的专制帝国以及自我束缚和自我奴役的人民三个方面。这一中国观的形成主要受到卫匡国《鞑靼战纪》、“中国热”理性化、安森《环球航行记》以及李明《中国近事报道》的影响。通过分析卢梭中国观作为虚构的形象的生成过程,可以发现卢梭中国观对于卢梭个人来说是合理的、现实的,是在“中国热”的背景下最有说服力的例子。关于
学位
纵观全球高等教育事业发展的历程,高等教育质量长期以来被看做提高综合国力和增强国际竞争力的关键因素,受到政府和社会各界的关注。教学质量是衡量高等教育质量的关键维度,所以,全球很多国家和地区都把寻求优秀的教学视为高等教育优先发展的目标。面对高等教育教学质量问题的日益凸显,英国政府积极推进高等教育体系和高校教学质量保障体系建设的改革,教学卓越与学生成果框架(Teaching Excellence and
学位
随着智能监控和虚拟现实等依赖于视频实时处理技术的智能应用服务的出现,以及深度学习在计算机视觉领域的飞速发展,智能视频服务极大地丰富了人们的日常生活。然而受限于移动终端的硬件配置,用户设备往往无法部署和运行用于视频处理的视频服务模型。通过边缘计算技术将视频服务模型部署在靠近用户设备的边缘云上,直接处理用户设备的视频流请求,可以有效降低网络延迟并解决用户设备计算资源不足的问题。由于边缘云的计算资源和带
学位
认识治理作为对特定行动者如何通过作用于人们对世界的思考和行为方式来实现社会变化这一过程的分析框架,在全球化背景下成为一种研究社会变化并为其辩护的方法论工具。进入21世纪,各种与人类命运密切相关的全球性公共危机加剧了社会的复杂变化,现代性困境在当前社会情境下有了新的表现形式。未来的不确定性与各种价值观念之间的冲突使得不同文明走向对话的必要性和必然性大大增加,文明对话也将是构建人类命运共同体的基本路径
学位