基于深度强化学习的移动边缘计算卸载策略及其物理层安全研究

来源 :广州大学 | 被引量 : 0次 | 上传用户:flysiro
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,智能技术的巨大进步已经极大地促进了移动设备的应用,同时带来了海量的无线连接和数据流量。然而,移动设备灵活且独立的特点都决定了其计算能力受到严重的限制,这已经严重制约了移动设备处理大规模计算任务的能力。为了解决这个问题,研究者们提出了一种名为移动边缘计算(mobileedgecomputing,MEC)的技术。作为云计算技术到网络边缘的延伸,移动边缘技术已经成为给移动设备提供强大计算和存储能力的新范例。为了进一步提高移动边缘计算中的用户服务质量,提高资源利用的效率,复杂的计算和通信资源的调度分配问题亟待解决。而深度强化学习(deep reinforcement learning,DRL)是目前资源调度问题中可以有效降低系统能耗和时延的最有应用前景的人工智能算’法。本文首先考虑了一种包含多用户的移动边缘计算网络,其中用户可以将计算任务分割成多个子任务,并卸载到多个边缘服务器节点上。同时发现,用户的任务特性和边缘服务器的计算任务可能是时变的,那么在这个网络框架中为用户提供一个最省时或者最节能的卸载比例策略就可以被认为是优化一个动态决策问题,本文将这个动态决策问题建模为马尔科夫决策过程(Markovdecision process,MDP)。随后,本文定义了此马尔科夫决策过程的状态空间和动态空间,而且将系统能耗和时延整合为代价函数,作为决策的即时奖赏函数。为了求解此MDP,文中设计了一个基于深度QQ网络的新型卸载比例控制算法,用户可以基于此算法对各个用户的卸载比例进行动态微调,来确保系统维持最低运行代价。通过在Python平台进行仿真实验,实验数据证实了所提非二元卸载策略可以有效地使系统代价收敛至一个较低的水平并保持稳定。本文还仿真了用户数量和边缘服务器数量发生变化的情况下算法的表现能力,实验结果显示此算法在用户和边缘服务器数量变动时仍然保持其优越性。除此之外,为了保护MEC网络在计算结果回传阶段的物理层安全性,本文也建立了一个存在智能攻击者的非正交多址协议(no-orthogonal multiple access,NOMA)网络传输模型,该智能攻击者可以在多个攻击模式间自由切换。为了保护无线传输的安全性,并且增强回传链路的传输速率,本文将边缘服务器与智能攻击者的交互看作是一种零和博弈,并在此博弈论的框架下提出了一种基于强化学习的功率控制算法,求出博弈中的纳什均衡解,来抑制智能攻击者的攻击意图。仿真结果表明基于强化学习的对抗智能攻击策略也能够很好地抑制智能攻击者的攻击动机,并提高下行链路的传输速率来确保物理层的安全传输。
其他文献
石墨烯基频率选择表面(GFSS)在智能电子、隐身材料、光电器件等领域具有广泛的应用前景。本研究系统地从理论上研究了GFSS吸波体和极化器的电磁响应机制及其电磁特性数理模型
点云配准中的传统描述子鲁棒性比较低,并且生成的点云之间的特征点匹配对只有局部的对应关系,缺乏匹配对之间相互关联的全局信息。鉴于此,本文针对传统描述子的局限性,提出了一种基于PointNet孪生网络生成的点云局部描述子的配准方法。本文的主要贡献可概括为以下两个方面:一是构建了一种基于PointNet孪生网络的三维点云描述子,较好的解决了三维点云之间特征点匹配的问题;二是提出了一种特征点匹配对间的相似
自我是一种认知结构。这一结构将个体对自己的认知看作是一个知识结构,这个知识结构复杂并且高度有组织,其中自我图式作为自我的一部分,指的是一些特性:个体觉得有着很高的确定性并且含有特定的自我意义(含义)的那些特性;自我还是一种社会结构,符号互动理论是自我社会结构的代表理论,该理论提出“镜像自我”的概念,并主要将此概念用于强调当个体与他人进行社会交往时,来自于他人对自己的态度和看法对个体形成其自我概念的
近十年来,计算机视觉任务通过卷积神经网络获取高判别性的视觉特征,自然语言处理任务则借助递归神经网络来对时序性的文本数据进行有效建模,二者在性能上取得了较大的提升,但视觉问答作为两个领域的交叉研究任务却依旧面临着巨大的挑战。视觉问答的任务场景是让模型根据给定的图片回答人类提出的任何问题。视觉问答任务不仅需要对视觉和文本信息有着充分的理解,还需要能够根据任务状态找到特定的视觉信息。视觉注意力机制的原理
2001年,我国颁布实施了义务教育音乐课程标准。作为我国音乐课程的基本纲领性文件,新课程标准对中小学音乐教育提出了新的要求,对现阶段课堂教学在知识与技能、过程与方法、情感态度与价值观等方面提出了新的标准。如何将音乐示范课作为新课程标准理念的落实途径,引领基础教育改革方向,进而有效提高音乐课堂教学质量、发展音乐教育事业,是学界一直探讨的热点话题。在探索新型课程教学模式、教学方法中,学校课堂教学的开展
一、引言海洋地质学是研究海底的物质组成、地质构造和演化规律的学科。研究内容涉及海岸与海底的地形、海洋沉积物、海底构造、海洋地质历史和海底矿产资源等。它是地质学的
会议
共轭烯炔是重要的化工中间体,被广泛应用为天然产物、药物分子以及功能材料的合成前体,具有重要研究意义及合成价值。迄今为止,研究者们已经开发了大量的反应体系用于合成1,3
针对多输出极限学习机(MELM)分类模型输入层权值和阈值随机选取导致的分类精度波动问题,提出一种基于改进花朵授粉算法(ACFPA)的极限学习机多分类模型(CSACFPA-MELM)。首先对于花朵授粉算法,利用基于反向学习的Tent映射优化初始配子位置,在全局搜索中以小概率变异引入Tent混沌搜索,在局部搜索中添加自适应算子,将切换概率p转化成迭代次数的函数。其次,构造一种基于代价敏感的适应度函数,
土地覆被/土地利用变化是全球环境变化的重要影响因素,研究土地覆被/土地利用变化可以了解全球环境变化情况。随着遥感技术的蓬勃发展和广泛应用,以及国产卫星发射数量的不断
Rootkit恶意代码兼具隐蔽性强,危险性高,变化复杂等特点,可对Linux内核空间造成严重危害,因此在操作系统安全领域研究中,针对Rootkit的相关检测及安全防护的重要性不言而喻。在内核级Rootkit对Linux操作系统展开攻击的多种手段的研究中发现,借助可加载内核模块去利用系统调用攻击内核函数是一大难点。内核级Rootkit通过修改用户空间代码以可加载内核模块方式获取系统调用表的地址指针,