无人机基站（unmanned aerial vehicle mounted base station,UAV-BS）可以作为地面蜂窝网络的有效补充,来缓解诸如地面基站故障、网络流量拥塞、和偏远地区弱覆盖等问题,因此被视为实现6G全球覆盖愿景的关键技术之一。相比于传统的地面基站,无人机基站具有部署迅速、建设和维护成本低、部署场景灵活等优势。此外,无人机基站能够在三维空间调整位置,从而增加与地面用户建立视距（line of sight,Lo S）通信链路的概率,这为无人机基站的部署设计带来了新的自由度,与此同时,也带来了关于其三维部署、资源分配等的优化难题。而如今火热发展的机器学习技术,因其在数据处理、智能决策等方面的强大潜力,为解决无人机基站部署设计提供了新的思路。本文主要研究基于深度强化学习的无人机基站三维部署方法,具体的研究内容如下:首先,本文研究了单无人机基站的三维部署和功率分配的联合优化。提出一种基于深度确定性策略梯度（deep deterministic policy gradient,DDPG）的方法,无人机基站可以充分利用地面用户分布和无线信道特性,在连续的状态和动作空间学习最佳的三维位置和功率分配策略。采用注水算法（water-filling,WF）为DDPG的动作空间降维从而避免训练过程中的维度不平衡问题。设计了考虑系统吞吐量和用户公平性的奖励函数,在最大化系统吞吐量的同时保障了用户公平性,并对比了离散动作空间的深度Q网络算法和传统启发式的遗传算法的性能。其次,本文研究了多无人机基站的三维部署的联合优化。首先通过兴趣点（point of interest,Po I）模拟临时热点事件的发生位置,并在Po I邻域生成异构的用户分布。然后,将各无人机基站作为智能体构建马尔科夫决策过程,采用集中式学习范式,使各智能体在训练时考虑其他智能体的状态和动作,来解决由用户接入和无人机基站之间的信号干扰引起的多智能体学习环境的不平稳问题。最后通过近端策略优化（proximal policy optimization,PPO）求解建立的模型,使各无人机基站学习到最佳的三维部署策略来最大化系统吞吐量,并对比了单维的高度优化算法PCAO和随机部署算法RD的性能。