论文部分内容阅读
物联网作为第五代移动通信系统的三大应用场景之一,已经渗透到人们日常生活的方方面面。由于物联网中的传感器节点设备简单、数量众多、功率受限等原因,不适合远距离传输,无法构建全面覆盖的物联网通信系统达到万物互联的目的。因此,本文将中继协作网络运用到物联网通信系统中,并且提出利用强化学习在众多中继候选节点中选择一个或者多个信道条件较好的节点参与协作传输,在保证系统性能的前提下,可以节省系统开销相对延长了中继设备的使用寿命,同时避免多个中继节点同时传输所带来的功率浪费、同步等问题,满足了无线物联网系统对低功耗、高可靠传输以及增大有效通信覆盖面积的要求。相对于传统的中继选择技术,强化学习的算法复杂度不会随着中继节点数量增加而增加,且对于不同的通信标准往往只需设计不同的回报值,无需大量的理论推导,在算法的设计上具有简单和普适的特点。本文的主要工作如下:1、面向物联网中的中继协作传输场景,分别针对放大转发协议和解码转发协议两种协议,提出了基于Q-learning单中继和多中继选择两种策略。首先对强化学习中的动作集、状态集、状态转移函数、动作选择策略等要素进行了定义和选择并且将目的端的接收信噪比作为立即回报值,接着利用时间差分方法的Q-learning算法来寻找出最佳中继策略。仿真结果表明:对于最优单中继选择,Q-learning算法所获得的系统吞吐量明显优于随机中继选择算法且随着中继节点数量的增加性能优势更加明显;对于多中继选择,在目的端的接收信噪比大于10d B的条件下,Q-learning算法相对于随机中继选择算法,需要的中继节点个数可以平均减少两个以上。2、针对物联网中的协作传输场景,提出了分布式波束成形与中继选择相结合的方案,建立以接收端信噪比最大为准则的目标优化问题,首先采用Q-learning算法选择出多个中继用于协作传输,为了降低Q-learning算法的计算复杂度,本文采用拟牛顿法来快速求解出接收端最大信噪比的上界值,并将该值作为立即回报值用于指导Q-learning算法计算出最佳选择策略。其次,当被选中继确定后,该优化问题变为一个单目标的非凸优化问题,在基于半正定松弛的条件下使其变为凸优化的问题,再结合二分法和内点法求解出最优权值及接收端的最大信噪比。仿真结果表明,基于Q-learning的多中继选择算法能获得接近于最佳的性能且明显优于随机多中继选择方案。