论文部分内容阅读
作为一种智能无线通信网络,认知无线网络采用认知无线电技术允许认知用户以一定方式使用授权频段,从而提高频谱利用率。认知无线网络中的动态频谱接入(DSA)问题是研究认知无线网络的核心问题之一,它主要关注认知用户如何合理高效地在动态变化的环境中使用授权频段。鉴于增强学习中Q学习算法的动态自主学习特性和易实现性,本文将多智能体Q学习(MAQL)方法应用到认知无线网络的动态频谱接入算法中,提出了适用于不同接入方式下的改进Q学习动态频谱接入算法。第一,介绍和分析了认知无线网络中动态频谱接入理论与模型,并给出Q学习理论和方法。然后将协作多智能体Q学习方法映射到认知无线网络的动态频谱接入算法中,同时提出相应的算法框架。第二,在现有的基于ε贪心策略的多智能体Q学习方法基础上,先后提出了针对认知用户共享空闲信道和独占空闲信道两种接入方式下的动态频谱接入算法:基于认知用户共享空闲信道的协作ε-Greedy_MAQL DSA算法和基于认知用户独占空闲信道的协作ε-Greedy_MAQL DSA算法。仿真结果表明这两种算法能够有效地提高认知用户接入公平性,增加认知系统的和容量。第三,为了平衡学习过程中探索和扩张的关系,本文将现有的基于模拟退火的单智能体Q学习算法扩展到多智能体Q学习,提出了一种改进的Q学习算法:SA_MAQL。根据此算法,进一步提出了两种动态频谱接入算法:基于认知用户共享空闲信道的协作SA_MAQL DSA算法和基于认知用户独占空闲信道的协作SA_MAQL DSA算法。最后仿真比较了协作SA_MAQL DSA算法和协作ε-Greedy_MAQL DSA算法在不同条件下的性能,结果表明所提出的算法具有更好的认知用户接入公平性,较低的冲突概率和较高的认知系统的和容量,同时收敛性能有明显提升。