论文部分内容阅读
移动自组织网络是一种分布式、无中心、多跳的自治网络,网络节点同时具有终端和路由功能。移动自组织网络具有良好的灵活性和环境适应性,被广泛应用于环境监测、救援救灾、军事通信等领域。不过,由于多跳传输、动态拓扑、节点资源受限等特点,移动自组织网络的可靠性相对薄弱,容易受到人为干扰等攻击,该方面问题对于军事通信应用来说尤其突出。因此,为了提高移动自组织网络的可靠性,抗干扰方法研究非常必要。通信抗干扰方法包括物理层的抗干扰传输技术和网络层的抗干扰组网技术。本文主要针对移动自组织网络抗干扰组网技术,尤其是媒体接入控制(Media Access Control,MAC)层抗干扰展开相关方法研究。本文聚焦移动自组网MAC层的抗干扰信道选择问题。在传统方法中,该问题通常被建模成马尔科夫决策过程且依赖于信道状态转移矩阵等先验统计信息,并随着信道数增多,计算复杂度剧增;另一方面,深度强化学习算法对于高维状态输入能够得到低维动作输出,而且不需要对环境进行建模,在解决抗干扰信道选择问题上具有很大的优势。鉴于此,本文研究了基于DQN(Deep Q-Network)的智能抗干扰问题,通过引入深度强化学习算法,对节点信道感知信息进行训练、学习和预测,从而选择正常的信道传输,以达到抗干扰的目的。具体来说,本文的工作主要体现在以下几方面:首先,针对移动自组网MAC层信道干扰问题,提出了基于DQN的智能抗干扰方法,通过DQN抗干扰模型与干扰环境的信道信息交互,对预测的信道状况与节点真实信道状况进行比较和在线学习,分析和总结信道判决策略,从而得到未干扰信道信息,实现智能抗干扰的目的。与传统方法相比,基于DQN的智能抗干扰方法在单信道和多信道条件下都能达到较优抗干扰性能,并且在多信道下,不仅能够应对主动式干扰源,而且还能应对反应式干扰源。接着,对该抗干扰方法进行改进和提升,得到一种基于DQN的自适应抗干扰方法,它在信道干扰情况发送改变的条件下,通过重新学习和训练的方式适应新的干扰环境,从而有效应对干扰模式发生改变的干扰源和复杂综合性干扰源,达到自适应抗干扰的目的。数值仿真和性能分析证实了其有效性和实用性。此外,针对节点信道干扰信息感知存在差错从而导致抗干扰方法性能下降的情况,提出了基于DQN的分簇合作感知智能抗干扰方法。该方法分为两个步骤,首先进行DQN抗干扰模型的在线训练:子网内普通节点感知信道状况并将结果发送给簇头节点,簇头节点通过合作感知得到正确率更高的信道判决结果,再将该结果用于DQN抗干扰模型训练;然后进行DQN抗干扰模型测试运行:簇头节点将训练好的DQN抗干扰模型的参数发送给各个普通节点,每个节点通过构建本地DQN抗干扰模型即可实现本地的独立抗干扰功能。该方法在单信道和多信道下都具有优异的抗干扰性能和自适应性能。通过数值仿真和性能分析可知,相比传统方法,基于DQN的分簇合作感知智能抗干扰方法在保证抗干扰性能的同时,有效地减少了网络消息泛洪和资源消耗,具有良好的灵活性和鲁棒性。