作为5G无线通信系统的新型多址接入技术,功率域非正交多址接入(Non-Orthogonal Multiple Access,NOMA)技术可允许多个信息流在时间域/频率域/编码域相互重叠的信道上传输,并采用串行干扰消除以解码不同信号。与传统正交多址(Orthogonal Multiple Access,OMA)技术相比,NOMA技术可以有效地提高系统频谱效率、用户接入能力和用户公平性。近年来,NOMA技术已受到学术界和工业界的广泛关注和研究。现有关于NOMA技术的研究主要分为NOMA传输的有效性、可靠性以及NOMA传输的安全性。一方面,将认知无线电与NOMA结合可以进一步提高频谱效率,但却给认知无线电NOMA传输的可靠性带来了挑战。第一,现有研究工作主要集中在非协作的认知无线电NOMA传输,考虑到由于主、次用户的同时传输引起的网络间干扰以及NOMA多用户信号的功率域复用引起的网络内干扰,将会大幅降低认知无线电NOMA传输的可靠性。因此,需要研究基于协作的认知无线电NOMA传输方案,在提高频谱效率的同时提高传输可靠性。第二,现有研究工作还局限于认知无线电NOMA单播传输,当考虑认知无线电NOMA单播-多播传输时,由于多播信号需要同时送达多个用户,其传输可靠性更加难以保证。所以,设计基于协作的认知无线电NOMA单播-多播传输方案很重要。另一方面,由于NOMA点到多点的广播特性,多用户保密信息的传输易于被外部窃听者或内部窃听者截获,这给NOMA传输的安全性带来了严重隐患。第一,直接把针对OMA系统设计的基于人工噪声的保密波束赋型方案应用到NOMA系统中,会使人工噪声泄露到合法用户的信道上,导致其接收信号质量降低。因此,有必要研究适合于NOMA系统的基于人工噪声的保密波束赋型方案。第二,现有研究主要考虑基于可信中继的协作NOMA传输方案,然而,在实际网络中参与协作的中继有可能是非可信的。在这种情形下,设计新的协作干扰和物理安全传输策略,将会是NOMA非可信中继网络中亟待解决的问题。为克服上述现有研究的局限性,本论文对NOMA技术进行了系统性研究,以提高NOMA传输的有效性、可靠性和安全性,为NOMA在5G无线通信系统中的应用提供了理论指导和性能依据。具体来说,本论文的主要成果总结如下:一、认知无线电网络NOMA单播传输研究了认知无线电网络中NOMA单播传输:1.首先,考虑单用户协作传输场景,提出了一种基于NOMA的协作频谱共享方案,由次用户充当中继同时转发NOMA叠加的主用户信息和次用户信息。在Nakagami-m衰落场景下分析了该方案的中断性能,分别得出了主、次网络中断概率和中断吞吐量的解析表达式。理论分析和数值结果表明:(1)该NOMA协作频谱共享方案实现了主、次网络的共赢,即主网络提升了中断性能,次网络获得了频谱接入机会;(2)与基于OMA的协作频谱共享方案相比,该方案节省了协作频谱共享的时隙开销,从而有效地提升了频谱效率。2.其次,考虑多用户协作传输场景,提出了基于R-SUS和F-SUS准则的机会式NOMA协作频谱共享方案,通过机会式调度最佳次用户完成NOMA协作频谱共享,分别实现主、次用户中断概率的最小化和次用户调度的公平性。在独立非同分布的Rayleigh衰落信道下分析了该方案的中断性能,得出了主、次用户中断概率的解析表达式和高信噪比渐进表达式。理论分析和数值结果表明:(1)R-SUS和F-SUS准则均可以取得满分集增益,且分集阶数等于参与协作的次用户数;(2)相比于R-SUS准则,虽然F-SUS准则实现了次用户调度的公平性,但是其损失了一定程度的次用户中断性能。二、认知无线电网络NOMA单播-多播传输研究了认知无线电网络中,基站利用NOMA原理叠加单播-多播信息流同时发送给一个单播主用户和多个多播次用户。在此传输协议基础之上,提出了一种动态协作多播认知NOMA(即MCR-NOMA)传输方案,分别在多播次用户没有全局瞬时CSI、有部分瞬时CSI和有全局瞬时CSI的情形下,通过最优多播次用户调度来最小化主、次网络的中断概率。在独立非同分布的Rayleigh衰落场景下分析了三种瞬时CSI情形的主、次网络中断性能,得出了中断概率的解析表达式和高信噪比渐进表达式。此外,定义了主、次网络的互中断概率来描述该方案对网络整体性能的提升。理论分析结果表明:(1)动态协作MCR-NOMA方案同时提升了主、次网络的中断性能;(2)合理利用瞬时CSI进行次用户调度可以使得主、次网络获得更高的分集增益;(3)在已知全局瞬时CSI情形下,主、次网络可以取得与次用户数目相同的分集增益,这使得主、次网络中断概率随着次用户数增加而指数性降低,有效地克服了多播传输可靠性随用户数目增大而恶化的缺点。三、多天线网络NOMA物理层安全研究了多天线网络中两用户NOMA物理层安全,提出了一种基于人工噪声的保密波束赋型方案,在已知合法用户CSI的前提下,通过产生在合法用户零空间的人工噪声来保护NOMA信息传输。在实际的非完美最差情形串行干扰消除假设下,分别得出了该方案下两用户保密中断概率的近似表达式。此外,进一步得出了该方案保密中断概率高主窃比的渐进表达式,并基于该结果分析了该方案得到的保密分集增益。仿真结果验证了所得理论分析的准确性和所提方案的优越性。四、非可信中继网络NOMA物理层安全研究了非可信中继网络中NOMA物理层安全:1.首先,考虑传统三节点协作通信场景,提出了一种NOMA启发式的非正交中继协议,让源节点和非可信中继节点利用NOMA同时传输信息来提高目的节点的复用增益。另外,还设计了针对该协议的两种发射天线选择方案来进一步地提升保密性能。在Rayleigh衰落场景下分析该方案的保密速率性能,利用高斯切比雪夫积分得出了遍历保密和速率下界的近似表达式。此外,还得出了遍历保密和速率的渐进比例定律。理论结果表明,遍历保密和速率以渐进比例定律log((?)log Nt)对数性增长,其中,ρ表示系统平均信噪比,Nt表示源节点的发送天线数。2.其次,考虑两用户协作NOMA场景,并假设非可信中继与NOMA用户具有相同的多用户信号检测能力,提出了一种自适应友好干扰的中继传输方案,通过让远用户发送干扰信息,实现在干扰非可信中继的同时不影响近用户的信号接收。在Rayleigh衰落场景下分析该方案的保密速率性能,得出了遍历保密和速率下界的近似表达式及其渐进比例定律。理论结果表明,遍历和保密速率随系统平均信噪比以渐进比例定律3/4 log ρ呈对数性增长,显著提升了协作NOMA传输的物理层安全性能。