近年来,随着通信技术的快速发展,移动网络应用及接入设备数量爆炸式增长。根据思科公司给出的统计和预测,截止到2023年,全球移动设备将从2018年的8.8亿台增长到2023年的13.1亿台,其中5G设备和连接将占到全球移动设备和连接的10%以上。此外,随着众多新兴垂直行业比如智慧城市、物联网、移动边缘计算等的广泛应用,用户需求变得更加多元化。因此,为了满足大规模增长的移动业务量和多元化的用户需求,在5G及下一代移动通信网络架构中引入了很多新兴技术,比如:异构蜂窝网、多无线电接入技术、网络切片技术等。这些新兴技术的引入,在提高网络性能的同时也使得无线网络变得更加的复杂且异构。伴随着无线网络环境的愈加复杂和异构,异构蜂窝网中的接入控制与调度机制的研究变得更加困难。由于异构网络的时变性以及用户行为的随机性,传统的基于模型的资源分配方法(比如:最优化方法、博弈理论)缺乏一定的自适应能力和泛化能力。在异构网络中,密集部署的蜂窝网小基站可以提高网络容量,但是同时也受限于严重的同频干扰。在引入多频段频谱资源共享来扩充网络容量的时候,由于不同无线电技术的传输协议及性能差异,跨频段的资源也更加的困难。此外,切片技术的引入也需要对无线资源的调度方式进行重新考虑。总之,在未来无线网络中,由于网络环境的时变特性、用户需求的多元性以及异构网络的多层次重叠覆盖都给无线网络的资源分配带来了极大的挑战。因此,需要采用更加智能以及自适应的解决方案来支撑未来复杂HetNets中的资源分配问题,从而更好地应对爆发式增长的移动业务量以及多元化的用户需求。机器学习方法是解决复杂网络环境中的动态决策问题的一种高效的智能化方法,其拥有强大数据处理能力和决策功能,是一种在非确定环境下做决策的有效的工具。机器学习方法可以用于分析异构蜂窝网中的用户行为特征、业务特征等,然后基于这些特征设计合适的接入策略,以达到优化网络长期性能的目的。因此,本论文采用基于机器学习方法并配合多智能体博弈模型来解决5G通信网络中的复杂接入控制、资源调度、功率分配等问题。本文主要研究以下四个内容:(1)异构无线接入网中基于自模拟学习的干扰协调;(2)基于多主体强化学习的无线接入机制;(3)切片化无线接入网智能资源调度;(4)基于联邦合作与增强的无线接入网中分布式功率分配。本文的主要贡献以及创新点总结如下:首先,本文研究了分布式自治HetNets中即插即用蜂窝网小基站(SBS)之间的干扰控制问题,目的是在保证小区用户受到的干扰在阈值以下的同时最大化系统的吞吐量。本文首先将SBS的决策模型建模为部分可观测马尔可夫决策过程,然后将干扰控制过程建模成为一个无模型的逆强化学习问题,并提出了一个自模拟学习(Self-Imitation Learning,SIL)方法从策略/行为模仿和奖励函数估计两个角度来进行解决。此外,考虑到强化学习算法在启动开始阶段的“慢启动”现象,本研究工作在SIL的训练过程中采用了嵌套式的学习方法并为SIL的初始策略提供了基于max-SINR的经验策略,以减少慢启动过程的总时间。最后,仿真结果验证了 SIL与其他基准频谱资源调度算法相比能够提高约19.8%的系统总吞吐量。然后,本文针对多无线电HetNets场景下的用户接入和资源调度问题进行了研究,目的是在满足不同用户QoS需求的条件下来最大化异构网络的吞吐量。考虑到LTE和WiFi之间的性能及传输协议的差异以及网络环境的动态性,本文提出了一种基于多智能体强化学习的多无线电接入技术SARA(Smart Aggregated RAT Access)。SARA构造了一个基于马尔科夫决策过程的分层决策架构,包括无线电/信道选择过程和多用户间的资源分配过程。数值结果表明,SARA在满足用户的服务质量需求的前提下能够显著提高网络的吞吐量,并且可以随时终止并提供一个当前训练状态下的最优解,从而在最优解和学习时间之间的找到一个折中点。接着本文研究了 RAN切片中的资源调度问题,目的是在保证切片间一定程度隔离性的条件下,最大化无线频谱资源的利用率。资源调度是RAN切片面临的核心问题,它需要根据信道状态、网络环境,将有限的频谱资源适当地分配给具有不同服务质量需求的用户。基于此,本文提出了一种用于RAN切片的智能资源调度策略(intelligent Resource Scheduling Strategy,iRSS),其中深度学习和强化学习以一种协作的方式去解决大时间尺度下切片资源的预配置和小时间尺度下实时资源动态配置。最后通过不同场景下的仿真实验,验证了 iRSS的性能优势。最后,本文针对用户隐私保护下的分布式HetNets中的功率控制进行了研究。联邦学习(Federated Learning,FL)作为一种分布式机器学习算法,让用户通过上传权重信息或者梯度信息来更新共享的决策模型,同时将其数据集保留在本地设备上。本文研究了分布式HetNets下的功率分配问题,并提出了一种基于FL框架的协作和数据增强算法 FL-CA(FL based Cooperation and Augmentation)。此外,为了解决由数据泄漏引起的过拟合问题,FL-CA利用WGAN(Wasserstein GAN)算法进行数据增强,来减少不同用户数据集之间的相关度。仿真验证了 FL-CA在算法的鲁棒性和功率分配准确性较其他基准算法有明显的提高。