移动通信网和互联网的加速融合,无线接入技术的迅猛发展,智能终端持有量及高带宽业务类型的持续增长,使未来无线移动通信网络在网络容量、用户服务体验以及能效等方面都面临着巨大的压力。并且,更高的网络性能需求将加剧网络建设成本(Capital Expenditure, CAPEX)和运营成本(Operating Expenditure, OPEX)开销。如何更高效地利用有限的网络资源并提升运营商的成本效益已成为无线通信研究领域的重要研究课题。为了降低网络建设运营成本,提高网络资源利用率并保障网络运行质量,自组织网络(Self-organizing Network, SON)技术应运而生,旨在增强无线网元自组织能力,实现无线网络各功能领域自组织功能。自组织网络技术目前已得到众多标准化组织以及研究机构的广泛关注。而随着未来移动通信技术的持续发展演进,无线网络环境日益复杂,新的网络特征及需求将不断涌现。因此,需要进一步提升无线通信网络的自组织能力以及网络综合性能,并促进自组织网络的进一步研究与应用。本论文主要研究自组织网络的覆盖与容量自优化、基站节能自优化以及小区中断补偿问题,主要工作和创新点如下：第一,针对覆盖与容量自优化问题,首先分析了影响覆盖与容量优化的因素并对该优化问题进行了建模。为解决所建立的覆盖与容量优化问题,提出一种混合式覆盖与容量自优化架构。并且,针对未来无线通信网络自组织能力在适应系统负载时问空间上的波动并进行系统资源按需分配方面的需求,提出一种基于强化学习及模糊神经网络的覆盖与容量自优化(RL-FNN)方案。各分布式自组织功能实体采用基于强化学习的模糊神经网络技术对各基站的发射功率及天线下倾角进行联合自适应优化,并采用优化经验共享机制实现了各自优化功能实体的分布式联合学习。仿真结果表明所提方案能够在不同的复杂网络场景下获取稳定的优化策略,并且在实现覆盖与容量性能提升的同时大幅提升了网络的能量效率。第二,针对基站节能自优化问题,提出一种基于活跃用户感知的K层异构网络基站激活／休眠方案,该方案能够增强基站对活跃用户的感知能力以针对性的决定基站的激活／休眠状态。采用随机几何理论分析了所提方案在多层异构无线网络中所能达到的覆盖率、网络容量以及相应的网络能耗性能,分析过程兼顾了用户及小区部署位置的随机性、小区选择的不确定性、信道状态以及产生的干扰等因素。并且,提出一种基于模糊Q学习的活跃用户感知概率优化(SPO)方案,在适应活跃用户密度波动以及保障用户QoS的基础上,对各小小区网络的活跃用户感知概率进行自适应优化。仿真结果表明,所提方案在保障用户速率和覆盖概率的同时,有效降低了网络功率消耗。第三,对于小区中断补偿问题,在建模分析中断协作补偿问题的基础上,提出一种基于联盟博弈的联合资源分配(CG-CRA)方案,以期在小区意外中断场景下高效利用网络资源并对小区中断区域内的用户进行业务补偿。在所提方案中,小小区进行联盟博弈以形成若干子信道分配联盟,从而决定各个子信道的分配方式。某一子信道上同一联盟内的小小区采用协作的方式为同一个用户提供服务。并且,各小小区在各信道上进行功率资源的优化分配。仿真结果表明,所提方案可以有效应对网络意外故障,尤其在大量小区中断的情况下能够高效利用网络资源并有效提升用户公平性。