大数据和智能终端的迅猛发展，使得通信网络中的数据量呈爆炸式的增长。人们对移动通信系统的容量、速率、时延等要求越来越高。5G标准组织（如5GPPP）对5G移动通信系统提出了一系列性能指标要求，要求5G的系统容量是当前LTE网络的1000倍，同时还要保证高可靠、低时延的数据传输。为了达到这一严苛的性能指标，学术界和工业界提出了新型多址接入技术、密集组网、大规模MIMO、小区网络虚拟化以及D2D(Device-to-Device)等关键技术，本文所研究的D2D通信技术是其中关键技术之一。D2D通信技术是指蜂窝设备在基站的控制下，在授权的频段中进行数据的直接传输。由于数据不需要经过基站转发，D2D技术能够减轻基站负担，实现基站负载分流。此外，它还具有频谱效率高、设备功耗低、干扰可控等优点。　　本文首先研究了D2D的模式选择问题。由于具有移动性的特征，D2D设备的通信链路质量随时都在变化，根据通信链路质量选择D2D设备的通信模式能够提高通信质量，改善用户体验。本文主要讨论D2D设备在三种通信模式下的模式选择算法，包括直接传输模式、传统蜂窝模式以及D2D设备中继转发模式，并将演化博弈论的思想引入其中，提出了一种设备控制的D2D分布式模式选择算法，并设计吞吐量和传输功率联合考虑的效用函数，以最大化效用函数为目标对设备传输功率进行优化。仿真结果表明，所提算法能够通过博弈实现蜂窝网络中所有D2D设备效用值的均衡，同时通过对设备的传输功率进行优化，提高了网络能效。　　本文还研究了基于速度感知和D2D簇的设备联合切换算法。5G提出了蜂窝网络与物联网融合的趋势:未来将会有大量的终端设备（包括传感器、智能终端等）接入到蜂窝网络当中。在设备密集分布的小区边缘，特别是交通拥堵的高峰时段，将会出现大量设备集体切换的现象，此时集体切换产生的信令风暴可能会导致设备的切换时延提高，造成设备通信中断，影响用户的体验。为此，本文将D2D的多播通信技术应用在蜂窝设备的小区切换当中，结合速度感知技术，提出了一种在高速密集场景下蜂窝设备的联合切换策略。仿真结果表明所提算法能够显著降低高速场景下大量设备同时进行切换时的中断概率和切换时延。　　今后进一步研究工作可以将D2D设备的通信模式扩展到正交的直接通信模式、复用下行资源的直接通信模式以及以周围的Small Cell作为中继的模式，研究D2D设备多种通信模式的选择算法。此外，在复杂的异构网络场景中，移动中的D2D簇内成员在小区边缘将面临多个接入点的选择，此时需要考虑D2D簇的垂直切换问题，从而尽可能的减少基站间为了维护D2D簇而产生的额外信令开销以及信令交互所产生的时延。同时，还要避免D2D簇在移动中出现频繁切换、乒乓切换等现象。