近年来,无人机因为其高性价比,机动性强,灵活操作等优点,在各个领域得到了应用。特别是通信领域中,由于无人机可以与地面用户建立良好的视距链路（Line of Sight,Lo S）,从而提升数据传输效率,同时无人机可以搭载雾服务器完成计算任务,还可以安装射频信号发射器为设备充电。但是,在用户相关信息（如用户位置、发射功率）动态变化的情况下,对能量有限的无人机的飞行轨迹进行设计以最大化系统网络容量,存在一定的挑战。在现有的研究中,对于无人机轨迹的优化,主要有凸优化方法和强化学习方法两种方法。由于针对无人机轨迹优化所建模的优化问题形式非常复杂,使用凸优化方法需要用到大量的一阶近似和变量替换,所获得的结果通常脱离实际情况。另一方面,该数学方法难以应对动态变化的环境。相比之下与传统的优化方法不同的是,采用强化学习方法优化无人机轨迹,具有对环境依赖度低、可与环境实时交互、探索未知能力强、模型复用率高等特点。强化学习通过智能体与环境的交互根据环境返回奖励为动作的选取做出决策,十分适合高度动态的无人机辅助通信场景。本文研究了在无人机辅助网络中,地面移动用户在自身固定能耗下和无人机提供充电两种情况下无人机的轨迹优化设计,具体创新工作内容如下:（1）针对地面用户有充足自身供电的情况下的无人机辅助网络,其中地面用户随机移动,并向无人机卸载数据,无人机根据用户的卸载需求来选择所需服务的用户。根据无人机的能量约束和每个用户设备的服务质量约束,共同优化用户关联、无人机轨迹以及每个用户设备的数据上传功率,以最大化从所有用户设备卸载到无人机的总数据量。之后对于描述的场景建模了一个优化问题,并用马尔科夫的思想来解决该问题。设计了基于用户卸载量增益和能耗惩罚的奖励函数。通过设计了基于DQN的无人机轨迹优化算法框架,提高地面用户的网络容量。通过对不同超参数取值下平均回报的对比,验证了所提算法在收敛性和吞吐量上优于传统QLearning方法,可以保证用户服务质量。（2）针对地面随机移动的用户设备能量有限的情况,进一步研究无人机作为雾服务器的同时还将充当无线射频能量源,其中无人机通过射频信号在为传感器节点充电的同时接收并计算来自用户的卸载任务。为使问题更接近实际,考虑非线性能量模型的约束。在求解该问题上,设计了基于DDQN的自适应ε-greedy策略算法。仿真结果表明算法在有效性和收敛性上优于常规算法,所提自适应ε-greedy策略在性能上优于常规ε-greedy策略。