随着用户对移动数据业务需求的不断增加,以LTE-A为代表的先进的3GPP标准已不能满足未来5G用户对网络带宽的需求。为了有效满足飞速增长的传输容量需求,各运营商已开始进行大规模高密集的网络建设,即通过在分层异构网络中密集部署工作在相同的频段的微小区实现高速数据服务。而另一方面,分层异构网络中小覆盖范围的微小区大量密集部署,也会带来一系列技术上的严峻挑战。其中,小区间的共信道干扰问题会变得更加严重,而小区间干扰将成为影响信道衰减和网络性能恶化的最重要的因素。因此,如何在当前需求下解决该问题显得更加重要。本论文运用博弈理论,对分层异构网络中小区间干扰管理技术研究进行了研究。论文的主要工作和创新点包括以下三点：第一,针对下行传输中微小区与宏基站间频率复用因子为1的跨层干扰场景建立了一种基于斯坦科尔伯格博弈的功率控制模型。基于该博弈模型,本论文提出了一种基于斯坦科尔伯格均衡点搜索的博弈问题闭式解法。研究结果表明,所提博弈算法能够给出最优的微小区功率分配方式,以控制宏基站用户受到的干扰,最大化宏基站效益函数以及最大化微小区的速率和。并且,所提博弈算法相比于传统穷尽搜索法,能够大大降低计算复杂度。第二,针对密集部署的微小区间下行链路同层干扰与非协作宏基站用户与微小区用户间同频干扰共存的场景。本论文提出了一种基于划分形式的联盟博弈模型,将微小区基站建模为博弈成员,以表征外部因素约束以及微小区接入节点的自利特性。基于该博弈模型,本论文提出了一种基于归并准则的分布式算法,能够根据网络的具体干扰情况自适应的形成联盟,从而抑制联盟成员间的互干扰。第三,针对微小区超密集部署并且所有用户都满负载运行多媒体服务的场景,本论文提出了一种自适应联盟形成方法,并基于部分可逆的融合分裂准则提出了一种简单有效的联盟形成算法,以减轻跨层干扰确保多媒体应用的服务质量。仿真结果表明,使用3.5GHz网络能够获得比部署密集微小区更佳的性能。本论文基于博弈理论,针对分层异构网络中跨层、同层干扰问题分别提出了提出了功率控制算法和自适应的分布式算法,这些研究表明,相比于其他方案,本文所提算法的复杂度低、收敛快速、效率高开销低等优势使其更具有现实意义,也更益于规模化实现。