随着智能通信终端的普及和新兴移动应用的发展,多媒体流逐渐成为移动通信中的主流业务,导致移动数据流量在近年来呈指数级增长。预计到2023年,移动通信系统的频谱需求量将达到76GHz。然而,目前部署的频谱资源还不足2GHz。因此,如何高效利用有限的频谱资源来提升用户服务质量感受,成为当前移动通信面临的关键问题。针对上述挑战,非正交多址接入技术（Non-Orthogonal Multiple Access,NOMA）被视为一种潜在的解决方案。其借助叠加编码技术和串行干扰消除技术容许多个用户共享相同维度的无线资源。此外,终端直通（Device-to-Device,D2D）技术容许数据链路直接在临近的通信对之间建立,而无需通过基站中继,可以提升系统容量,并且给用户带来最高的传输速率和更低的传输延迟。此外,将NOMA技术和D2D技术相结合,共同引入到蜂窝网络中,能够进一步提升系统侧和用户侧的性能指标。NOMA和D2D通信的融合虽然能够给蜂窝网络带来诸多优势,但是也会引入复杂的干扰问题。针对此问题,最有效的方法是设计无线资源分配机制。在现有的大部分文献中,对NOMA-D2D网络的研究还比较少,而且主要是通过传统数学优化方法来解决,且没有考虑实际环境中信道的时变性。本文针对NOMA技术和D2D技术融合的混合蜂窝网络场景,对该场景中的用户设备的动态模式选择和功率控制进行了研究。本文的主要研究内容和工作如下:（1）首先建立了一种NOMA-D2D网络。在该网络场景中,为了最大化利用网络中现有的频谱资源,每对用户设备可以选择蜂窝模式或者D2D模式进行通信。当选择蜂窝模式时,在其上行链路引入NOMA技术,下行蜂窝链路采用时分多址接入技术,上下行链路间采用频分双工模式;当选择D2D模式时,使其复用系统中的蜂窝用户设备的上行NOMA资源。（2）本文旨在满足资源复用的约束条件下,使每对用户设备在快速变化的信道状态下动态选择合适的通信模式,并在给定的模式下进行合理的功率控制,以最大化系统中所有通信对的比例公平和速率。首先,按照系统模型建立原始目标优化问题,由于该问题属于混合整数非凸优化问题,使用传统的数学优化理论无法得到实时的最优解。因此,本文设计了一种新型的基于深度强化学习方法的在线学习算法模型:在模式选择给定的情况下,原功率控制问题属于非凸优化问题,本文通过借助辅助变量将其转化为凸优化问题直接求解;在功率控制的基础上,通过深度强化学习方法进行动态模式选择。（3）对本文所提出的算法进行了仿真测试与结果分析。在仿真测试中,定义了平均成功率这一概念作为算法模型的评价指标。并且分析了不同参数对算法性能的影响。然后,通过与相对距离的模式选择算法和随机模式选择算法的对比,凸显出本文所提算法的优越性。仿真结果表明,当系统中的用户数量为5对时,本文所提算法的平均成功率达到了76.13%,其系统比例公平和速率值相比于上述两种方法分别提升了10.05%和17.81%。