边缘环境下基于多代理强化学习的副本选择策略

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:cocoxb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
通过在边缘部署存储服务,将云端的数据存储在边缘,以允许终端设备高速访问这些数据,从而降低数据访问的延迟。但在边缘环境中,边缘服务器的内部复杂机制、用户与边缘服务器的距离不同以及动态网络都会对系统的服务质量产生影响。副本选择策略作为一种广泛使用的提高系统服务质量的请求调度方法,通过为请求选择延迟最低的边缘服务器,能够有效降低每个请求的处理时延。然而,现有的基于客户端的分散选择方法因其缺少完整的服务器状态信息,导致对服务器延迟估计不准确,且多选择节点难以协调容易出现负载振荡,这些都会导致请求延迟升高;现有的基于中心节点的集中选择方法因其存在请求转发,将引入额外的延迟开销。为降低边缘环境中请求处理延迟,设计了一个基于多代理强化学习的副本选择策略(Multi-Agent Reinforcement Learning-Based Replica Selection,MARLRS)。针对上述副本选择机制问题,设计了一种基于服务端排名的集中副本选择机制。通过在服务器之间维护一份服务器排名并分发给客户端的方式,副本选择具有完整的服务器状态信息且没有转发延迟开销。然后,针对边缘环境中存在多种影响系统服务质量的因素,使用神经网络建立高维的性能模型,设计了一种基于多代理强化学习的性能建模方法。并通过对基础模型的结构和数据流进行调整,从而能够在云和边缘部署不同的网络结构加速副本选择策略的调整,且减少云和边缘的数据传输开销。最后考虑到副本放置位置将影响副本的选择,设计了一种基于排名期望的副本放置(Ranking Expectation-Based Replica Placement,RERP)优化方法。根据服务器排名的期望,调整副本的放置位置,从而使得请求能够选择更低延迟的服务器。面向边缘应用工作负载,使用真实移动数据和YCSB中的数据访问负载进行实验。实验结果表明,MARLRS与最新的基于客户端的方法和基于中心节点的方法相比,平均延迟分别减少了2.47%~8.89%和10.07%~13.72%;结合RERP的MARLRS方法与单独的MARLRS方法相比,平均延迟减少了2.57%~5.51%。
其他文献
盾构施工过程中经常遇到下穿铁路或其他构筑物等工程难点,如控制不当将会出现建构物倒塌、地表塌陷、人员伤亡等重大事故,因此在施工前必须研究制定针对性完善的应对措施。以常州地铁2号线一期工程05标段6.44m土压平衡盾构穿越京沪普铁老线及新城际铁路线施工为例,在分析工程重难点基础上,从盾构施工关键技术、路基沉降控制、构筑物保护等方面,提出了针对性的控制措施,为工程后期安全、高效施工提供了有效保障,同时能
期刊
航空母舰既是海平面上会移动的机场,也是海军空中作战指挥中心。作为航空母舰的主要战力之一,舰载机的甲板调运能力对航母而言尤为重要,而舰载机甲板调运路径的质量对调运能力有着直接影响。飞行甲板作为舰载机起飞前执行各项任务的平台,具有高密度性和不确定性。在舰载机的甲板调运路径受未知干扰影响时,对原有路径进行重规划以保障舰载机顺利完成调运任务有利于系统的安全与稳定。本文对舰载机在甲板上的调运路径规划与重规划
学位
人群计数是一种估计图像或视频场景中人群的数量和密度分布的技术,在交通管控、公共场所人流管控等公共安全领域中都有着较为广泛的应用。其主流方法均是采用深度卷积神经网络,使用训练集中的行人位置以及数量等信息,以回归的方式学习从图像到密度图的映射关系,通过对密度图积分得到总人数。除了简单地使用行人位置以及数量等信息外,还可以对训练集中所包含的信息进一步挖掘,充分利用训练集中图像内或图像间的人数关系,以及图
学位
中国路网作为城市的“骨架”,是城市发展进程中不可忽视的部分,学者们针对城市路网的结构、功能、地理特征等方面展开了大量研究。层级性是路网的重要特征之一,是研究的重点和热点;同时,大量实际城市路网的公开可获取性为路网层级性研究提供了数据基础。然而,现有研究主要针对单个城市路网,关注不同等级路段的比例与空间配置。本文提出了一系列刻画城市路网层级特征、量化路网层级性能的指标及其计算方法,运用于中国大量的实
学位
物流案例对物流专业教学、领域科研和工程实践不可或缺。伴随互联网技术广泛应用和现代物流业飞速发展,可供参考的物流案例丰富,却分散在各处,结构化较弱,且常用的依赖关键词的案例检索无法实现精确匹配,难以快速且准确获取所需案例。从相关研究来看,案例表示尚缺乏领域知识特点,而知识元模型层次性好,有利于知识组织与重用,基于知识元的高效准确的检索算法也有待进一步研究。本文以构建物流案例服务系统为背景,基于知识元
学位
激光诱导击穿光谱(Laser-Induced Breakdown Spectroscopy,LIBS)技术因其具有无需或制样简单、原位快速、远程和多元素同时分析等独特的优势,已被用于核聚变、深海探测和火星勘探等众多领域。但在LIBS的定量分析过程中由于等离子体特性、位置与形态等的变化导致LIBS光谱产生较大的波动,进而降低了其定量精准度,限制了LIBS的大规模商业化应用。因此,针对LIBS光谱稳定
学位
随着轻量便携化、可穿戴式、可植入电子器件的发展,迫切需要开发与其兼容的高储能密度、柔性化微型储能器件。微型超级电容器(MSCs)因其高能量/功率密度和长循环寿命,在微型储能器件领域具有广阔应用前景。丝网印刷技术提供一种可规模化、低成本、高通量的MSCs制造方法。印刷油墨是丝网印刷制备MSCs的关键材料,可印刷MSCs用油墨应具有高电导率、可调黏度及长期稳定性。目前MXene油墨在可印刷MSCs领域
学位
随着显示技术的不断发展,人们对显示器件的画质、刷新率和便携性等有了更高的要求,其中柔性有源矩阵有机发光二极管(AMOLED)显示等技术逐渐成为产业和研究关注的热点,为了实现可靠的弯折性能和优质的显示质量,聚酰亚胺(PI)薄膜成为了现阶段柔性显示中衬底材料的最优解。本文从制备工艺和电学及光学性能的角度出发对用于柔性显示的聚酰亚胺基板进行研究。(1)研究不同种类的聚酰亚胺基板的工艺制备,包括无色透明聚
学位
近年来,红外探测器小、微型的发展趋势使得其内部的焦平面阵列像元尺寸不断减小。为了保证红外探测器灵敏度和光信号收集效率,目前最常用的技术就是微透镜阵列集成工艺。利用微透镜阵列的聚光性,可以将入射到探测单元的光线全部收集到光敏区内,大大提高了光能利用率的同时还可以减少像元之间的串扰。本文从聚光型微透镜阵列出发,针对激光探测领域,研究了可集成于盖革模式APD探测器的微透镜阵列,通过提高红外焦平面填充因子
学位
随着全球数据总量的爆发式增长,数据去重和差量压缩作为当前主流的冗余数据删除手段,得到了越来越多的关注。为了提高差量压缩的压缩效果,相似性检测技术常常被用于差量压缩对象的选取。然而,目前主流的相似性检测方法存在着特征提取速率慢和相似数据检测不充分等问题,成为了联合数据去重和差量压缩的冗余数据删除系统的性能瓶颈。为了解决现有的相似性检测方法存在的特征提取速率慢的问题,提出了基于高级矢量扩展512(Ad
学位