基于强化学习的多用户功率智能分配

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:hongdou0219
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着无线通信的发展,频谱资源利用率低这一现象已经引发了广泛关注。为了使不可再生的频谱资源得到更充分地利用,多项技术被用来实现频谱共享,然而,这也带来了一些不可避免的问题,所以降低用户间的干扰,实现资源的合理有效分配变得越来越重要。对于单个用户来说,与其使用同一频谱资源的其他用户的发射功率都被看作是干扰信号,过大的发射功率会对用户的通信产生威胁,因此,通过合适的算法实现功率智能分配意义重大,优化算法往往具有较高的复杂性,难以满足环境动态变化下的实时性要求,本文将基于强化学习算法对多用户的功率分配方案进行研究。针对非协作功率控制的场景设定,用户之间不进行任何信息交互,智能体无法感知环境的全局状态,于是本文提出了无状态假设,并据此推导出多智能体Q学习理论框架。由于传统的多智能体Q学习算法要求智能体知道其他智能体的策略信息,而这在非协作场景下无法实现,因此,本文提出了一个基于历史经验估计奖励回报的多智能体Q学习算法,通过取对应动作所获奖励的历史平均值,在用户信息零交互的情况下完成功率智能分配。经过实验验证,算法能够收敛至纳什均衡,且收敛速度更快。另外,与传统优化算法进行比较,优化算法可以在给定场景下求得最多有多少用户同时满足它们的Qo S要求,而本文算法在相同场景下能够达到这个最优解。强化学习算法收敛的纳什均衡并不一定能够保证系统中所有用户都满足Qo S要求,而在认知无线电场景中,主用户的通信质量应当被优先保证,本文考虑一个主用户和多个次用户共享相同的频谱资源的场景,设计了一种新的奖励函数,使用户在进行功率调整时,优先满足主用户的Qo S要求,然后尽可能提升自己的信干噪比,实验证明,本文的功率分配方案比其他方法能允许更多的用户同时使用同一频谱资源,保证资源分配的公平性。
其他文献
伴随着社会进步,我们不得不面对社会人口中快速进展的老龄化问题,膝关节骨关节炎发病率越来越高,全膝关节置换手术(total knee arthroplasty,TKA)逐渐增加。针对全膝关节置换术中参照对位的截骨角度及假体安放角度,常规采用股骨的解剖轴与机械轴的夹角作为下肢股骨远端截骨角度,以恢复膝关节的矩形“屈曲间隙”,恢复下肢中位力线。采取参照中位力线对位方式的全膝关节置换手术后,仍有部分术后患
背景:视网膜色素变性(RP)是一种遗传性疾病,涉及眼睛视网膜细胞的退化和死亡,会导致视力进行性下降,并最终导致失明。其在全球的发病率约为1/3000-1/7000,是单基因致盲性眼病最主要的原因。目前已经报道大约90个基因与视网膜色素变性发生相关,这些基因突变能解释约60%的RP病例,筛选RP致病基因的有效方法是全外显子组测序技术。突变基因鉴定之后则需进一步研究相关基因致病机制及寻找合适的治疗方式
目的:慢性鼻窦炎作为耳鼻喉科的常见疾病,其发病机制和炎症模式与患者的人种和地理环境存在密切联系。目前已有研究证明,欧美慢性鼻窦炎患者主要以2型炎症反应伴随嗜酸性粒细胞浸润为特征,而亚洲慢性鼻窦炎患者主要以Th1/Th17混合炎症反应伴随中性粒细胞浸润为主。本课题旨在研究中性粒细胞、IL-17A在慢性鼻窦炎发病机制中的相关性,以期为慢性鼻窦炎发病机制的研究提供新的实验数据。方法:选取符合纳入标准的慢
研究背景:移植术后糖尿病(posttransplantation diabetes mellitus,PTDM)在肾移植术后高发,是影响受者生存质量和移植物长期存活的重要不良因素,但其相关发生和发展机制仍不明确。研究目的:在肾移植受者(Renal transplant recipients,RTRs)长期服用免疫抑制剂的背景下,探究PTDM相关的肠道微生物和代谢物特征,为研究PTDM的发生和发展机
金属-π电子低维体系展现出很多新奇且有趣的物理现象,能够广泛地应用于微电子学技术、信息处理和存储以及清洁能源领域。本论文采用第一原理方法研究了一维有机金属分子线、金属-石墨烯和金属-富勒烯三种金属-π电子低维体系的电子性质和磁性质,并对其潜在应用展开讨论。一维复合有机金属分子线由于其选材面广、物理性质可调控,是一种有应用前景的半金属材料。复合有机金属分子线中的半金属性和铁磁性/反铁磁性源自于有机配
妊娠糖尿病(GDM)是孕妇在妊娠期间被发现的糖耐量异常现象,对孕妇、胎儿乃至新生儿的健康产生长期不利的影响。近来的研究证实,脑松果体分泌的与生物节律调节有关的激素——褪黑激素会通过其特异表达于胰岛β细胞上的受体MTNR1B影响胰岛素的分泌,调控机体的血糖代谢;而有关妊娠血糖代谢的研究包括我们前期的工作发现,MTNR1B基因变异与血糖水平具有显著的相关性,但其关联性特征在妊娠期与非妊娠期存在一些明显
目的:缺血再灌注损伤(IRI)是一种以肾功能迅速下降为特征的潜在致死性综合征,作为急性肾损伤(AKI)的主要原因之一与其高发病率和死亡率密切相关,且缺乏具体的治疗方法,基于此我们认为研究IRI所致AKI的具体发病机制以及寻找早期干预治疗靶点是十分重要的。我们前期通过Label-free蛋白质组学在肾小管上皮细胞缺氧/复氧模型中筛选出显著下调的分子胱氨酰tRNA合成酶(CysRS)。CysRS参与线
目的:联合运用血流向量成像技术(vector flow mapping,VFM)与平板运动负荷超声心动图评价冠状动脉轻度狭窄患者不同时相左心室流场状态,探讨冠状动脉轻度狭窄患者左心室流场变化及其储备功能改变。方法:前瞻性收集胸痛疑诊冠状动脉粥样硬化性心脏病患者,所有患者于冠状动脉造影或冠状动脉双源CT前进行平板运动负荷超声心动图检查,收集患者相关资料,纳入34例冠状动脉左前降支轻度狭窄(狭窄程度<
视网膜色素变性(Retinitis Pigmentosa,RP)是一种遗传性的视网膜疾病,其主要病变过程为视网膜色素上皮细胞以及视锥-视杆细胞凋亡,最终导致视网膜的萎缩。全球的RP患者约有150万人,在中国约有40万人。现已发现约100个RP致病基因,大多数的致病基因都有一定的研究,甚至为部分致病基因构建了动物模型来深入研究其在RP中的功能与机制,如ARL2、RHO、IMPG2等基因。ASRGL1
移动通信已经迎来5G时代,未来通信业务将更加丰富多样,在不同业务场景下也将产生更多的通信要求,例如对带宽资源有更高的要求,以及需要新的网络体系结构等。空间信息网络以同步轨道卫星、中低轨卫星、平流层气球和无人机等为载体,实时获取、传输和处理空间信息。其中卫星网络作为空间信息网络中的重要组成部分,具有高带宽、覆盖广的优点,其极强的传输能力很适合作为传输网融合到地面网络中。因此卫星网络可作为地面网络的补