随着移动设备数量的不断增加以及需要随时随地访问数据的需求不断增长,用户对数据速率和服务质量(Quality of Service,QoS)的要求越来越高。因此,第五代(the 5th Generation 5G)移动通信网络朝着超密集异构网络(Heterogeneous Ultra-Dense Networks,H-UDNs)演进,并支持大量新兴技术。其中,设备到设备(Dcvice-to-Device D2D)通信技术作为一种很有前景的技术,能显著地改善通信网络的相关性能,因而受到了广泛关注。然而,为了保证用户设备(User Equipments,UEs)在移动的过程中享有无缝的用户体验,UEs需要频繁地在D2D模式和蜂窝模式之间进行模式选择,这将恶化通信性能并给网络带来很大的信令负担。机器学习作为实现人工智能的重要手段,可以在多个输入参数与输出参数之间建立联系,从而使终端可以结合多个决策因子对模式选择过程进行决策。本文针对D2D模式选择过程,通过机器学习算法优化了 D2D模式选择策略以及D2D发送端用户选择策略,进而在权衡D2D通信带给系统增益与开销的同时,显著地提升了 D2D模式选择性能和系统吞吐量。本文主要工作包括:针对模式选择过程,本文提出了一种基于Gradient Boosted Trees的多属性D2D模式选择策略。该策略首先基于用户绝对移动速度和接收信号强度进行了预决策。其次通过Gradient Boosted Trees将接收信号强度、信干噪比和用户移动角度这三个决策因子结合起来以帮助用户设备选择最优的通信模式。仿真结果表明,本文提出的方案提高了模式选择性能,其主要表现在降低了模式选择概率,增加了 D2D模式停留时间。此外,系统开销进一步降低,系统吞吐量显著增加。针对用户设备从蜂窝模式切换到D2D模式的过程,提出了一种基于Feed-Forward Neural Network的多属性D2D发送端用户选择策略。该策略通过将基于随机几何的长期分析结果与模式选择过程中涉及的瞬时参数相结合进行了预决策,并通过Feed-Forward Neural Network模型,帮助用户设备选择最优的D2D发送端用户。结果表明,该策略在降低模式选择概率和增加D2D模式停留时间方面具有明显的效果,并且在实现全频谱复用的基础上降低了系统开销。综上所述,本文针对D2D模式选择过程,分别从模式选择决策和D2D发送端用户选择这两方面开展研究,并通过仿真对提出的相关策略进行性能评估。