作为应对移动互联网和海量物联网日益增长的接入需求最具前途的技术之一,非正交多址接入（Non-Orthogonal Multiple Access,NOMA）技术近年来受到了积极的关注。与传统的正交多址接入（Orthogonal Multiple Access,OMA）技术相比,NOMA系统具有更高的频谱效率、更快的传输速率以及保障更多的用户接入。NOMA主动引入用户间的干扰,其高频谱效率是通过增加接收机复杂度为代价实现的。由此可见,提高NOMA系统的信号检测准确率以及降低其接收机复杂度是十分必要的。由于人工智能的蓬勃发展,深度学习技术在通信领域的应用也愈发广泛,因此,本文结合深度学习对上行NOMA系统的信号检测方法进行研究。首先,本文提出了一种基于数据驱动深度学习的上行NOMA系统的接收机方案,名为DLSI。该方案先对信道矩阵进行QL分解,得到等价的信号观测信息和信道状态信息,并迭代构建信号检测目标函数的解。然后使用深度神经网络（Deep Neural Network,DNN）来实现迭代步骤并逐一还原传输信号的符号。在检测到一个用户的所有符号后,使用连续干扰消除算法检测下一个用户的符号。每个DNN的输出都加入了一个软决策层,软信息会输入到下一个DNN,以提高训练的准确性。软信息比硬决策包含更多的信号知识,因此也用于串行干扰消除（Successive Interference Cancellation,SIC）步骤,这在一定程度上减少了错误传播。仿真结果表明,DLSI的性能优于传统最小均方误差（Minimum Mean Square Error,MMSE）检测方法与其他深度学习方法。其次,尽管数据驱动的DLSI有良好的误码率性能,但是其网络性能对参数的依赖性过高,训练过程中网络容易陷入局部最优的状态中,并且需要训练大量的参数来达到良好的结果。因此,本文还针对未知信道信息的上行NOMA系统提出一种导频辅助的信道估计与信号检测联合优化接收机方法,称为PA-LSIC。该方法采用模型驱动神经网络,将深度学习与传统检测方法相结合,引入了可训练的投影梯度下降算法并且保留了SIC检测结构。该方法将投影梯度下降方法中的步长、投影柔软度当作可学习参数,并且针对信道估计存在噪声干扰的问题,在信道估计加入了可学习的噪声抵消因子,针对SIC过程中干扰消除不彻底与误差传播的问题,加入了可学习的干扰消除因子,以减少信道估计的噪声干扰,提高SIC检测过程中的信号检测精度。在传统信道估计与信号检测算法的基础上加入学习参数,在利于分析的基础上还有最低性能保证。PA-LSIC降低训练和实现的复杂度,与数据驱动的深度学习方法相比,减少了可学习的参数,提高了学习和实现的效率。