第五代移动通信(5th Generation Mobile Communication,5G)对高数据速率的需求激增,因此提高频谱效率很有必要。目前无人机(Unmanned Aerial Vehicle,UAV)作为一个新兴的研究热点,在5G领域得到了研究学者广泛关注。将无人机应用在通信领域,与传统的地面通信设施相比,有一些独特的优势:首先,无人机部署相对灵活,成本相对较低。其次,无人机的空对地信道中视距(Line of Sight,Lo S)分量出现的概率大,信道条件较好。然而,无人机也存在一个固有的缺点,续航能力有限。基于以上背景,针对无人机基站系统,本文在二维和三维无人机飞行轨迹模型下,研究了该系统的能量效率和频谱效率。基于二维无人机飞行模型,本文考虑多天线无人机基站基于角度域波束成形技术,利用方向性波束覆盖地面用户的场景。利用切合实际的无人机能耗模型(包含飞行能耗和通信能耗),研究能量效率和频谱效率。通过分析,本文说明了在优化频谱效率时,也可以得到较高的能量效率,因此给出了频谱效率的联合优化问题。为了求解该非凸问题,本文提出了一种新的算法,将其分解为用户调度,功率分配,波束角度优化,无人机二维飞行轨迹设计4个子问题。针对波束角度优化和功率分配2个子问题,得到了闭式解。仿真结果证明,本文提出的算法和基于全局搜索的最优解的算法的频谱效率和能量效率性能贴近,在波束角度优化中具有更低的复杂度,且比现有工作的性能好。同时,角度域波束成形可极大地提升系统的频谱效率和能量效率。进一步考虑无人机三维飞行模型场景下,考虑单天线无人机基站,将无人机的空对地信道建模为时变莱斯信道,进一步给出了用户调度及无人机三维飞行轨迹设计的联合优化问题。仿真结果表明,与二维飞行轨迹相比,进一步利用俯仰角度的自由度,优化三维飞行轨迹后得到的系统频谱效率及能量和效率得到很大提升。