蜂窝移动通信系统正朝着第五代移动通信系统（fifth generation,5G）演进。5G系统将面对多样化和差异化业务的巨大挑战,满足超高速率、超低时延、高速移动、高能效和超高流量与链接密度等多维指标。因此,5G系统应该具有非常大的弹性,以满足不同需求、不同应用和部署场景的通信需求。为应对移动通信业务量的增长,在传统蜂窝下密集部署低成本、低功率的小小区,将传统宏蜂窝变成异构网络,是解决5G移动通信数据业务陡增、业务多样化的有效手段。然而,异构网络中小小区的发射功率、业务类型和部署方式各异,网络中干扰的类型和影响更加复杂。异构网络中的干扰管理面临的挑战如下:（1）应用场景复杂,难以使用统一的干扰管理方法;（2） 5G密集部署场景下,需要高效的、分布式的干扰管理算法;（3）全双工异构网络中的干扰环境复杂,如何设计干扰管理算法,提高系统性能。因此,在总结国内外最新研究成果的基础上,本论文重点研究异构网络中的频谱分配算法、家庭基站部署方法和全双工异构组网中的干扰管理算法。主要研究工作和创新点如下:针对异构网络中边缘用户性能较差的问题,提出了两种频谱分配方案。其一,根据用户（User Equipment, UE）的SINR和跨层干扰状况对UE进行分类,为低SINR和跨层干扰用户分配正交频谱,以消除跨层干扰,使得边缘用户速率得到提升。仿真结果表明,所提方案虽有少量系统吞吐量降低,但是却能获得边缘用户速率的显著提升。其二,提出了一种基于QoS保障的频谱分配方案。根据UE速率的闭式解求得网络中用户的最小速率,将宏基站用户和家庭基站用户的最小速率之比作为QoS因子,最后根据QoS因子进行家庭基站F-ALOHA方式的频谱分配。仿真结果表明,通过QoS因子可以实现对频谱分配的柔性控制。针对由家庭基站和宏蜂窝构成的异构网络中空间复用率低的问题,提出了一种各向同性（Spatial Poisson Point Process, SPPP）家庭基站部署模型。该模型中家庭基站密度随着宏基站信号衰落而变化,同时考虑了宏用户和家庭基站用户中断概率的要求,最大限度地部署家庭基站。进一步地,根据所提的各向同性SPPP模型设计了一种家庭基站分布式发送策略。该策略在每个发送时间间隔（Transmit Time Interval, TTI）内分布式计算家庭基站的发送概率,使得同时发送的家庭基站满足所提的SPPP模型。仿真结果表明,所提各向同性SPPP模型能够在保证用户中断概率的同时,最大化空间复用率;所提分布式发送策略能够在不同网络规模中保障用户正常通信。针对在全双工通信技术在异构网络中性能下降的问题,提出了优化调度模式和一种异构网络中联合子载波和功率分配的干扰管理算法。首先分析了单蜂窝全双工系统不同工作模式的性能,提出获得全双工增益的必要条件和优化的调度模式。仿真结果表明,全双工系统的不同工作模式性能不同,所提的优化调度模式能够有效地提升该系统的全双工增益。其次,提出了一种全双工异构网络中联合子载波和功率分配算法。由于所建立的优化问题非凸,该算法根据KKT（Karush-Kuhn-Tucker）条件给出了子载波分配的必要条件。然后,在给定功率分配条件下贪婪地分配子载波,然后根据子载波分配结果采用迭代注水算法分配功率。仿真结果表明,所提资源分配算法能够在异构网络中获得显著的全双工增益,而且采用干扰协调技术后,全双工增益加大。