作为5G移动通信系统的一项关键技术,非正交多址接入（Non-Orthogonal Multiple Access,NOMA）技术由于其系统吞吐量大、频谱效率高等特性而备受关注。在NOMA系统中,多用户在功率域上实现复用,各用户被分配不同的功率以作区分。然而与正交多址接入技术相比,NOMA技术对于发送端和接收端的物理实现也提出了更为艰巨的挑战。因此本文将基于功率域NOMA系统,分别对发送端和接收端所涉及的功率分配算法及信号检测算法进行研究,并与机器学习技术相结合,实现系统性能优化。具体研究工作如下:1.现有NOMA技术研究大多基于对香农容量公式和信干噪比的分析,而没有考虑实际的调制方案。高维调制方法相对于传统二维调制可以增大星座之间的最小欧几里得距离从而提升信号检测性能。因此本文提出将四维球形码应用于功率域NOMA系统中,这在一定程度上有效提升了系统检测性能。2.针对传统串行干扰消除（Successive Interference Cancellation,SIC）信号检测过程中存在的计算复杂度过高和错误传播累计等问题,本文在簇内多用户四维球形码调制叠加NOMA系统建模场景下,提出了基于深度神经网络（Deep Neural Network,DNN）的信号检测优化算法。仿真结果表明,基于DNN的解码器可以很好地进行工作,在保持检测性能相对于传统SIC方法不受损失甚至略有提升的同时有效降低了计算复杂度。3.针对NOMA系统功率分配方案对于检测性能的影响问题,在簇内多用户四维球形码调制叠加NOMA系统模型基础上,本文推导了簇内各用户检测误差上界表达式及令各用户检测误差上界相等时功率分配因子表达式,进而提出了基于深度Q网络（Deep Q Network,DQN）的最小化各用户检测误差上界和的优化算法。仿真结果表明,令检测误差上界和最小方案相对于令各用户检测误差上界相等方案在检测性能上具有一定提升且基于DQN的NOMA功率分配方案可以替代全局搜索算法,在降低计算复杂度的同时保证性能几乎不受损失。