移动边缘计算中基于深度强化学习的服务迁移策略研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:dabei008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来增强现实、超高清视频传输等新兴移动业务大量涌现,对网络的要求越来越高。移动边缘计算通过在基站部署服务器向移动用户提供云计算能力,有效降低了网络延迟,提高了用户服务质量。但是终端用户的移动性可能导致服务响应时延增加甚至造成服务中断。将服务迁移到离用户更近的位置是一种有效的移动性管理方式,特别是对于时延敏感的业务而言。然而移动边缘网络的服务迁移面临两个关键问题:资源限制下的服务迁移决策问题以及动态网络中的迁移路径选择问题。首先,通过分析移动边缘计算中服务迁移的决策过程,考虑到边缘节点计算和存储资源的有限性,建立了最小化响应时延和迁移时延的多用户服务迁移模型。接着利用马尔科夫决策过程提出了基于DDPG(Deep Deterministic Policy Gradient)的求解算法,即每个用户作为一个智能体与环境进行交互,同时不断改进自己的迁移策略,从而得到问题模型的最优解。然后充分考虑到用户之间资源竞争对服务成本的影响,以及多个智能体同时学习使算法难以收敛的问题,在上述算法的基础上提出了基于MADDPG(Multi-Agent Deep Deterministic Policy Gradient)的迁移决策优化算法。最后通过实验验证了所提算法在多用户服务迁移环境中能够快速收敛,且与对照算法相比能最大程度降低系统服务响应时延和迁移时延。其次,通过分析动态边缘网络中服务迁移路径选择问题,构建了以最小化系统端到端时延为目标的路径选择模型。为寻找该模型的最优解,设计了基于深度强化学习的迁移路径选择算法。该算法定义了引入网络流量的强化学习状态空间和通信链路加权的动作空间,通过策略网络学习移动边缘网络通信环境特征,实现边缘网络流量状态的实时感知。然后采用Dijkstra算法完成链路权重到迁移路径的映射,从而实现动态的服务迁移路径选择。最后搭建了仿真实验环境并与其他策略进行性能比较,实验结果显示所提算法能够有效降低系统端到端时延。且在与服务迁移决策算法的联合实验中,验证了所提算法能够进一步降低迁移开销、提高迁移效率。
其他文献
作为自然语言处理领域的基础任务之一,文本相似分析常以文本相似性判断和文本相似度计算两种形式在搜索引擎等应用中起核心支撑作用。其中,文本相似性判断是定性分析,属于分类任务;文本相似度计算是定量分析,属于回归任务。目前主流的文本相似分析模型存在表示型模型准确率低、交互型模型检索效率低等问题,难以满足文本相似性判断和文本相似度计算对性能的不同需求,需进一步改进。针对搜索引擎、问答系统等实际应用对文本相似
学位
库存路由问题(Inventory Routing Problem,IRP)研究供应链优化中库存管理与车辆路由的全局整合优化,在对客户销量进行预测的前提下,供应商需要制定每个客户的配送计划和配送路径,并在满足多种约束的条件下最小化库存与运输总成本。库存路由问题在工业界有非常广泛的应用,同时属于具有NP难度的经典组合优化问题,开展该问题的研究具有重要的理论价值和实际意义。多车辆库存路由问题(Multi
学位
联邦学习是一种保护参与方数据隐私的分布式机器学习技术。针对联邦学习中恶意参与者和半诚实服务器可能导致系统遭受安全风险的问题,各种研究利用如安全多方计算、差分隐私和可信执行环境等技术为联邦学习系统提供安全性。针对半诚实服务器导致的安全问题,谷歌提出了安全聚合协议,该协议使用双重掩码和秘密共享技术保护各个参与方的梯度,防止半诚实的服务器发起攻击。然而,该安全聚合协议中仍然存在尚未解决的问题,一是需要在
学位
平衡图划分(Balanced Graph Partitioning,BGP)问题需要将给定图的节点集合划分为6)个子集,在使节点均匀分布于各子集的同时,最小化顶点属于不同子集的边的数量。BGP问题属于NP完全问题,是集成电路物理设计等关键技术领域中的核心问题。研究BGP问题的高效求解算法,具有重要的理论和现实意义。为求解平衡图划分问题,提出了一种基于统计信息的数学启发式(Statistical I
学位
随着物联网的发展和各种智能应用的普及,越来越多的计算密集型和时延敏感型任务出现,边缘计算通过将资源部署在网络的边缘,具有高带宽、低延迟的特性,可以更好地满足此类任务的需求。然而,由于许多任务都与特定的服务相关联,考虑到边缘云的存储资源有限,需要设计合理且有效的服务缓存策略以最小化边缘计算的系统时延。此外,如何实现任务卸载与服务缓存的协同优化以利用有限的资源最大化用户的体验度,也是一个亟待解决的问题
学位
随着云平台的兴起和开发运维一体化的快速发展,容器虚拟化环境成为HPC(High Performance Computing)应用的主流部署环境之一。容器镜像构建一般依赖于用领域特定语言编写的容器镜像定义文件。镜像定义文件通常包含多种复杂的指令,人工编写耗时且易出错。据统计,在Github中超过34%的镜像定义文件不能成功构建容器镜像,镜像构建成功率约为66%。而在HPC领域,由于需要更加丰富的领域
学位
近年来,深度神经网络在图像识别、目标检测等计算机视觉任务中取得了突出表现。尽管如此,现有研究表明深度神经网络模型具有一定脆弱性,即在面对人眼难以察觉扰动的对抗样本时无法给出正确的预测输出。因此,研究对抗攻击过程有助于掌握对抗样本的特性,促进深度神经网络模型进行有针对性防御,从而为未来深度学习模型的安全防护提供指导。传统的对抗攻击方法通常基于梯度优化生成扰动,具有较大的时间复杂度,且生成的对抗样本图
学位
<正> 疼痛一症,可见于临床各科及多种疾病。病因不一,治法各异,倘能结合选用治痛药对,往往可增强疗效。今略举数对,以示梗概。一、羌活、独活治风湿阻络:羌活气浓香烈,升散力强;独活气清而香,升中有降。二味组对,祛风除湿,尤善止痛,用治风寒湿邪侵袭所致的肢体关节疼痛,头痛身痛等症。然羌活主入太阳,兼入少阴,治痹痛以上半身者更宜;独活主入少阴,兼入太阳,治痹痛尤宜下半身者。故前人有“独活入足少阴,而治伏
期刊
<正> 咽喉疾患,是临床常见的病症之一,由于病因和发病证型不同,在祖国医学文献上都分别有所论述。我们在治疗咽喉疾病的过程中,习惯上常采用一些行之有效的简易疗法,并收到了较为理想的效果。这里,对这些简易疗法做一简单介绍,供同道们参考使用。咽喉肿痛,多是由于热邪上攻或外感风热之邪,侵于肺,影响于喉所致。由于病邪人侵的程度不同,所以在治疗上对咽喉肿痛初起,常用清散之法,对于热毒较甚,疼痛严重者,用清热解
期刊
随着工业4.0时代的到来,基于人工智能技术的工人活动监测成为了自动化生产管理中的重要环节。在工业物联网的驱动下,传感器系统的数据来源不断增加,仅靠单一数据源的识别方法已很难满足工人活动监测系统中日益增长的识别率和效率的需求。为了给工人活动监测的智能决策提供高效的数据支撑,可以引入基于工业物联网的多模态数据融合方法。在人工装配线中,工人的错误操作影响自身安全和产线效率,因此,提出了应用于工人活动监测
学位