论文部分内容阅读
随着移动互联网、物联网等技术的迅猛发展,全球移动数据流量呈现指数级增长,稀缺的授权频谱资源已经无法满足当前的业务需求。为缓解授权频段网络的负载压力,3GPP国际标准组织在第四代移动通信系统长期演进（The Forth Generation Long Term Evolution,4G LTE）阶段中提出授权频谱辅助接入（Licensed Assisted Access,LAA）技术实现数据流量从授权频段到非授权频段上的迁移,并开展非授权频谱新空口（NR-Unlicensed,NR-U）技术的研究,探索非授权频谱在5G网络中的应用。由于非授权频谱是开放的,5G NR-U与LAA、Wi-Fi等多种网络共存,网络环境复杂且动态变化,为接入策略的设计和优化带来了极大的挑战。针对无线资源的动态特性和无线网络环境的复杂性,本文基于Q学习等强化学习理论对5G NR网络下非授权频谱的无线接入技术展开研究,主要的研究工作和创新点总结如下:1.针对NR-U网络环境的动态变化,本文在先听后说（Listen-Before-Talk,LBT）时间退避的基础上,引入动态信道选择机制,提出了一种在线学习分布式接入策略来提升网络容量。首先,基于长期容量期望,将用户的信道接入选择建模为非合作博弈模型,并证明了该博弈存在纯纳什均衡点。针对无线信道质量的时变特性,基于多臂赌博机（Multi-Armed Bandit,MAB）理论提出了一种在线学习分布式信道选择接入（Online Learning Distributed Channel Selection Access,OLDCSA）算法来优化用户的接入选择,并利用概率论推导出其性能损失上界。最后仿真结果表明,与随机接入相比,所提接入策略能够提升18%的网络容量,其性能表现接近于无穷搜索算法。2.从网络部署成本和灵活性的角度考虑,采用非授权频谱独立组建物联网具有强大的吸引力。针对非授权频谱传输过程中的拥塞和冲突碰撞问题,以及机器通信中不饱和业务随机到达的特点,本文构建了最小化网络长期丢包优化问题。基于时隙竞争传输模型,将该问题建模成为马尔科夫决策过程,提出了一种基于深度强化学习的动态频谱接入策略减少网络丢包,并通过占空比限制来保证网络公平地使用非授权频谱。仿真结果显示,所提策略造成的网络丢包相较于贪婪策略减少了约20%。同时,仿真结果也表明该策略在不了解周围环境的情况下也可以有效减少传输冲突碰撞,与其他异构网络高效共存。