无人机具有低成本、低功耗和高机动性等优点,经常被当作各种无线通信平台,与传统的地面通信基础设施相比,大大提升了通信系统的性能、可靠性和通用性,在下一代无线通信技术中有广阔的应用空间。然而在很多实际场景中,无人机辅助的通信无线网络中,由于缺少特定的通信资源,导致有些系统信息无法获取,使传统的最优化算法在求解轨迹规划、用户调度、功率分配等问题时十分棘手。无模型（model-free）的强化学习可以在缺少系统信息的情况下做出接近最优的决策,而且其性能不受目标函数的凹凸性影响。因此在求解无人机通信系统中的序列决策问题时比传统算法有着更强的通用性和灵活性,可以将无人机的优势应用于更多的实际场景中。在这一研究出发点,本文研究一个多无人机-地面通信系统,其中无人机作为空中移动基站对地面用户进行服务。在缺少全面的用户端信息的情况下,将以用户下行速率之和为目标,求解无人机轨迹设计、用户调度和传输功率分配为优化变量的联合优化问题建模成独立协作的马尔可夫决策过程（Dec-POMDP）并使用多智能体深度强化学习算法进行求解。仿真结果证明了在保证算法性能的前提下,深度强化算法在处理实际场景中的独立合作的序列决策任务时具有较强的通用性。对于用户传输的公平性的优化问题,定义了混合奖励函数并使用离线更新的深度强化学习算法进行求解。除此之外,为了提高离线更新的学习方式中网络模型参数收敛的稳定性,使用Adam自适应步长搜索算法代替了传统的梯度下降搜索算法,在保证模型收敛的同时提高了算法效率。仿真结果表明,由于深度强化学习算法具有很好的灵活性,在面对目标函数在时间轴上不可线性分解的问题时,依然可以求解,并且在保证算法收敛性的前提下达到超过传统优化方法的性能。