非正交多址接入(Non-Orthogonal Multiple Access,NOMA)技术通过功率域信号复用可有效提高无线通信系统的频谱资源利用率。无线物理层安全问题近年来备受关注,而NOMA系统在功率域叠加传输的信号一旦被非法用户窃听,将产生巨大的安全隐患,因此NOMA系统的物理层安全问题具有重要研究价值。此外,资源分配被视为一种有效提升无线通信系统物理层安全性能的方法。基于上述考虑,本文将物理层安全和NOMA系统资源分配相结合,根据不同的用户分组策略建立了NOMA系统窃听信道模型,探索如何通过合理的资源分配方案提升系统的安全和速率。论文的主要工作如下:针对两用户分组NOMA系统中的功率分配问题,提出了一种基于深度学习(Deep Learning,DL)的子载波间功率分配方案。该方案利用DL对数据的处理能力,将全域搜索功率分配(Full Search Power Allocation,FSPA)方案的信道参数和功率分配结果作为深度神经网络(Deep Neural Network,DNN)带标签的训练数据。通过这些数据可以优化神经网络的参数,最终经训练得到适合本系统的DNN模型。将信道参数输入训练好的DNN模型,可直接得到功率分配结果。仿真结果表明,所提出的子载波间功率分配方案的结果正确率高达95%;在大幅降低复杂度的情况下,所提方案得到了和FSPA方案相同的安全和速率;而在同等复杂度情况下,相较传统方案系统的安全和速率得以大幅提高。针对多用户分组NOMA系统中的用户分组问题,提出了一种基于Q-learning的用户分组方案。该方案利用基于最优价值思想的Q-leraning,与通信环境进行交互,在既定的优化策略下不断进行最优动作选择。通过迭代学习,基于Q-learning的用户分组方案可以根据环境动态调整动作选择概率,然后根据更新后的概率选择适合当前通信环境的最佳动作。最后,根据最终的动作选择概率对用户进行分组。仿真结果表明,采用所提出的用户分组方案经过迭代学习后,系统的安全和速率可以迅速提升,这证明了方案的有效性;此外,和传统方案相比,所提方案也能显著提升NOMA系统的安全和速率。