论文部分内容阅读
随着无线通信技术的飞速发展,人们对频谱资源的需求日愈增加,频谱资源的稀缺问题也愈发突出,因此亟需提出新的智能方法来提高频谱的利用率。而构造认知无线网络是一种有效的解决方案,在面对复杂环境的动态性时认知用户可以相应地调整行为与控制策略,从而更有效地利用频谱资源,提高网络系统的认知用频效率。频谱资源管理是认知无线网络的基本任务之一,主要涵盖了功率控制和信道分配两个核心问题。功率控制指的是网络中的认知用户能够在对授权用户不造成有害干扰的情况下,调整发射功率以机会式接入授权频段,实现认知用户可以和授权用户共享频谱资源。而信道分配是将某一时段的空闲信道合理地分配给认知用户,充分利用处于闲置状态的频谱资源。由于认知无线网络的广泛应用,网络结构越来越错综复杂,要建立相应的数学模型以模拟出高复杂度的网络环境变得难以实现。而强化学习中基于无模型的算法可以有效地解决该问题。加之近年来深度学习的兴起,强化学习与深度学习相结合的深度强化学习在处理复杂问题和数据运算方面都表现出优异的能力。因此,本文重点研究了深度强化学习的智能算法在认知无线网络中频谱资源管理方面的应用,尤其是功率控制和信道分配这两方面的优化问题,目的是提高认知用户在动态复杂的无线环境中的鲁棒性和适应性。本文的主要工作包括下面几点:1.介绍了认知无线网络中的频谱资源分配问题,同时重点分析了动态环境下功率控制和信道分配两个主要的研究问题。2.研究并分析了深度强化学习在动态功率控制问题上的应用,提出了优先记忆库结合竞争深度Q网络的动态功率控制策略,使得认知用户在复杂的动态环境中能够快速调整控制策略,提高了频谱利用率和网络性能,并在TensorFlow深度学习框架上进行仿真实验,验证了所提出方法的可行性和优越性。3.在上述第2点的基础上考虑功率控制和信道分配的联合问题,提出了长短期记忆深度Q网络的频谱资源分配算法,使得认知用户能够成功接入信道,并且可以调整自身的发射功率,保证对主用户不造成有害干扰的同时认知用户分配得到更优的频谱资源,提高了频谱资源的利用率,并在TensorFlow深度学习框架上进行仿真对比实验,验证了所提出方法的可行性和优越性。