本文采用具有认知功能的小蜂窝网络和大规模天线技术来提高系统吞吐量、能量效率和服务用户数。总结了5G的发展愿景及对应关键技术,分析了小蜂窝网络在未来无线通信系统中所承担的重要作用和面临的挑战,并给出了对应的解决思路,及超密集组网的认知小蜂窝网络与宏蜂窝网络共存时上／下行通信所面临问题的对应解决方案,研究了大规模多用户多天线系统下的功率增益性能。对认知小蜂窝网络框架下的频谱分配、功率控制、基站选择和用户切换等无线资源管理问题进行了研究。首先,在满足干扰温度限制下,根据新型的频带可重叠的通用干扰因子,从最小化系统总干扰水平的角度将频谱资源的动态分配过程建模为位势博弈模型,证明了NE解的存在性和唯一性。其次,在分布式结构下提出了以用户为中心的上行频谱资源和小蜂窝基站以及功率的联合分配模型。将频谱资源和小蜂窝基站的联合选择过程建模为以用户为中心的位势博弈模型,又分别从最大化容量和最大化能量效率两个角度将功率分配过程建模为非合作博弈模型,推导出了能够使系统全局最优的代价因子。在求解最大化能量效率的非凸最优功率分配问题时,推导出了等价的易于求解的最优化表达式,并提出了简化的迭代运算算法。第三,提出了以小蜂窝基站为博弈参与者的下行频谱资源块和功率的联合分配模型,并分别从开放式接入和引入对主用户的干扰温度限制两个角度将资源分配过程建模为非合作博弈模型。通过对非凸最优能量效率函数最大化问题的等价代换,将主博弈重新建模为便于独立求解发射功率的等价子博弈。为保障频谱资源块分配算法的收敛性能,提出了一种具有有限反馈信息的中心式分配模型。将具有耦合限制的子博奔效用函数最大化过程转化为变分不等式形式,证明了均衡解的存在性和唯一性。最后,在大规模多用户多天线系统下,研究了满足最小比特率和最大功率限制的自适应迫零功率分配算法。基于等效信道增益的统计特性,给出了最小化单用户平均传输功率的闭式表达式,并推导出了完美信道估计和带误差估计两种情形下的功率增益表达式。