随着无线通信网络的蓬勃发展,频谱资源日益短缺,人们对于移动通信业务的需求也随之持续增长,不断产生的新兴业务使得第五代移动通信技术(5th generation,5G)面临着新的挑战:高速率、大容量、低时延、高可靠性和大连接。非正交多址接入(Non-orthogonal Multiple Access,NOMA)技术基于其较高的频谱效率成为新一代无线通信网络中非常具有潜力的核心技术之一,本文重点研究其中的功率域NOMA技术。与正交多址接入(Orthogonal Multiple Access,OMA)技术不同的是,NOMA在发送端允许多个用户共享相同的资源块(频域、时域和码域)来传输信息,然后在接收端采用连续干扰消除(Successive Interference Cancellation,SIC)技术来实现每个用户信息的正确解调。协作中继技术通过设置中继节点能够有效地扩大无线网络的通信范围,提高系统的中断性能,节省数据传输的能量,从而提高系统的通信性能。NOMA与协作中继技术相结合,能够充分发挥这两种技术在通信网络上的优势,进一步改善通信系统中信息传输的有效性和可靠性。本文主要研究了基于NOMA的协作中继系统模型,包括了基于上行和下行两种NOMA链路的协作中继系统,本文所做的主要工作和创新可以概括如下:(1)针对下行NOMA链路的协作中继系统,提出了一种两阶段重叠编码TPSC的NOMA协作中继(CONOMA-TPSC)方案,该方案充分利用了中继端接收到的信号,有效地提高了该系统的和速率以及中断性能。首先推导出了不完美信道状态信息(Channel State Information,CSI)条件下系统的各态历经和速率、中断概率以及系统吞吐量的表达式。然后通过仿真验证了理论结果的正确性和有效性,为了与已存在的其他方案进行对比,在仿真部分考虑完美CSI情况下的系统性能,并且仿真实验结果表明,文中所提出的CONOMA-TPSC方案相较于已存在的其他方案能取得更好的性能。另外在仿真部分我们也分析了中继端功率分配因子对系统性能的影响,最后还分析了不完美CSI情况下信道估计误差对该系统通信性能的影响。(2)建立了一个基于上行NOMA的协作中继系统(CFR-NOMA)模型,在该系统中距离基站较近的用户被看做全双工(Full-Duplex,FD)中继以协助远端用户与基站之间的通信。首先求出了该上行CFR-NOMA系统的各态历经和速率和中断概率的具体表达式。然后以中断概率最小化为目标推导出了最优功率分配因子的具体表达式。最后通过实验仿真验证了理论结果的正确性。在仿真实验中,分别以传统上行OMA和CHR-NOMA(远端用户采用半双工模式工作)系统作为参照系统,与本文所提出的上行CFR-NOMA系统进行对比。仿真实验结果表明,与传统的OMA系统和CHR-NOMA系统相比,本文所提出的CFR-NOMA系统不论是在各态历经和速率还是在中断概率方面均能取得较好的性能。同时,在仿真部分我们还分析了近端用户处的功率分配因子和自干扰信号对系统性能的影响。