随着无线通信技术的不断发展,移动自组织网络（Mobile Ad Hoc Network,MANET）作为一项新的技术逐渐兴起。移动自组织网络是一类无中心的无线移动通信网络,可以快速搭建,而不依赖于各项基础设备,常被用于军事通信以及个人通信等方面。由于MANET的动态特性,MANET中的路由是极具挑战性的。在许多复杂的网络环境下,传统的自组网中的路由协议无法应对差异化服务需求的路由问题,而人工智能技术的发展为解决复杂场景下的路由提供了新的思路。本文从中受到启发,结合了强化学习和图神经网络的相关算法,针对不同场景下的路由机制进行了研究,主要研究内容如下:本文首先研究了自组网中的面向负载均衡的动态路由机制。由于自组网中链路容量有限,随着网络中业务流的增加,业务流的聚集会导致网络负载不均衡,链路拥塞增加。因此从负载均衡的角度出发,本文提出了基于深度确定性策略梯度（Deep Deterministic Policy Gradient,DDPG）算法的链路开销动态调整算法,通过链路路由开销的智能动态决策,实现路由的动态优化调整。数值结果显示,与传统的最短路径算法以及启发式算法相比,该算法有助于均衡网络负载,提高业务流传输成功率,增加网络吞吐量。接着研究了无人机网络基于能量优化的路由机制。在无人机网络中,节点的能量有限,节点能量耗尽会造成节点失效、网络分区甚至瘫痪。因此本文对节点能量进行优化,针对无人机网络无中心的特点,引入图注意力网络模型（Graph Attention Network,GAT）来学习不同节点特征之间的关联关系,以实现局部信息交互。并且为适应无人机分布式网络,提出了分布式的演员-评论家（Actor-Critic,AC）算法,并设计了无人机网络链路权重的智能动态调整算法。通过仿真验证,本文提出的算法与传统的最短路径算法、启发式算法相比,能够减少节点能耗,提升网络的寿命。最后本文研究了自组网中基于备选路径的智能路由机制。传统的路由协议只产生单一路径,在实际传输过程中,网络流量的增加容易导致业务流过于集中,造成网络拥塞影响网络传输性能。本文提出了基于深度Q网络（Deep Q Network,DQN）的备用路径选择算法,该算法能够动态感知环境的变化,对网络中业务特征以及路径的状态进行学习和预测,通过自适应调整路由的路径来保证网络的传输性能。仿真结果表明,与传统的最短路径算法、随机算法以及贪心算法相比,该算法在提高业务流传输成功率和增大网络吞吐量上有显著优势,并且还具有负载均衡的作用。