随着移动互联网的迅速发展,智能便携设备的普及为人们的日常通信和信息获取带来了极大的便利。但与此同时,人们对于不同业务数据需求的井喷式增长和设备接入需求的不断增大,都给当前的第四代移动通信系统带来了不小的压力。为了满足各种场景的通信需求,第五代移动通信系统(5G)提出了高传输速率,高频谱利用率,高连接密度,高移动性,低延时等性能指标。通过在已有蜂窝小区中部署大量小型基站或者设备到设备(Device to Device,D2D)用户,构建密集网络的方式为实现这些目标带来了曙光,作为下一代移动通信系统的关键性技术,密集网络成为目前研究的热点。为了提高系统的频谱利用率,Small Cell和D2D设备都将复用原有蜂窝网络频谱资源进行通信,这种方式不可避免地带来了不同设备间的干扰,影响了用户的通信质量,如何通过有效的资源分配来进行干扰协调,从而优化系统的性能是密集网络部署需要解决的首要问题。除此之外,由于密集网络中接入点以及通信设备的增多,采用集中式的资源分配方式使有限回传链路资源更加紧张,同时还增加了中心节点(如宏基站)的计算压力和系统时延。因而采用分布式的资源分配算法是本文重点研究的方向。首先,本文研究了在部署SmallCell场景中的下行多输入单输出(Multiple-InputSingle-Output,MISO)波束赋形问题,在保证宏蜂窝用户的最低通信速率也即服务质量(QoS,Quality of Service)的前提下,联合优化宏基站和微基站的波束赋形向量,最大化各基站的通信速率。由于原优化问题的约束条件耦合了所有基站的波束赋形量,使得Small Cell网络优化问题成为广义纳什均衡问题。本文首先通过迫零方式消除小区内干扰,然后借助变分不等式理论给出了简化问题变分均衡点存在性和唯一性的充分条件。本文设计了基于定价机制的分布式迭代算法,并证明了算法的收敛性。仿真表明该算法能收敛到变分均衡点并能有效保障宏蜂窝用户的QoS要求。随后,本文研究了在部署Small Cell场景中的下行多用户功率分配问题。在保证宏蜂窝用户QoS的前提下,联合优化宏基站和微基站的功率分配策略,使得各微基站最大化自身的通信速率,宏基站最小化发射功率。本文通过在原有问题基础上添加二次近似项的方式保证了问题的强凸性,给出了基于邻近点迭代的分布式算法求解均衡点。进一步地,本文还考虑了最大化所有微基站通信和速率并同时最小化宏基站发射功率的问题。由于和速率最大化问题的非凸性质,本文研究了拟纳什均衡点(Quasi-Nash Equilibrium,QNE)的存在性条件,并根据不动点迭代设计了获取该博弈模型QNE的分布式算法。仿真表明该算法在保证宏用户QoS的同时,不仅进一步降低了宏基站的发射功率,还提高了微基站的和速率性能。最后,本文研究了在部署D2D设备蜂窝网络中的功率分配问题,在保证蜂窝用户QoS通信质量的前提下,联合优化基站发射功率和D2D用户对功率分配,以最大化D2D用户对通信和速率。由于原优化问题非凸,考虑通过连续近似得到凸问题进行求解。本文所提的两种近似算法可以很快收敛到局部最优解,并展现出了优于其他两种复用模式的良好性能。