随着越来越多的设备接入网络,一方面给本就紧张的无线频谱资源带来了更大的压力,另一方面导致了更加复杂的通信环境,在这个开放的网络环境下通信安全问题显得越发重要。非正交多址技术（Non-Orthogonal Multiple Access,NOMA）具有在同一无线资源块内为多个用户提供服务的能力,相比于传统的正交多址接入,NOMA可以显著提高频谱利用率和用户连接密度。然而,想要发挥NOMA的优势,需要满足NOMA用户间存在适当的功率差异性这一条件。随着设备计算能力的提升,基于密钥加密的安全通信技术受到了严峻的挑战。物理层安全（Physical Layer Security,PLS）技术利用无线信道的差异性,令合法用户可以正确解调信号,同时增加窃听者正确解调信号的难度,有效克服了窃听者计算能力提升带来的问题。近年来新提出的可重构智能表面（Reconfigurable Intelligent Surfaces,RIS）技术可以通过调整其反射/折射系数对无线信号的传播特性进行重新配置,根据需求调整无线传播环境,一方面,可以令NOMA用户存在合适的信道差异,进而释放NOMA的潜力;另一方面,为PLS设计引入新的自由度,进而能够提高系统的PLS性能。因此基于RIS辅助的NOMA网络能够表现出更高的可靠性以及更好的安全传输性能。本文考虑到传统网络难以完全释放NOMA的潜力与优势,以及传统PLS技术忽视了无线信道这一可以提高网络安全的新维度,将RIS技术与NOMA相结合,研究了RIS辅助NOMA安全通信系统的PLS问题。首先,针对小尺寸RIS,提出合法用户信号增强方法以提高系统的PLS性能。其次,针对大尺寸RIS,为了解决合法用户信号增强方法中达到PLS性能上界后,随着RIS元素数目增加,系统安全性能受损的问题,提出窃听信号消除方法。最后,针对同时反射和折射（Simultaneously Transmitting and Reflecting,STAR）RIS辅助NOMA安全通信系统,研究窃听者位于STAR-RIS不同半空间时对系统PLS的影响。主要研究内容和创新性如下:1.针对现有RIS级联信道分布的不精确性对PLS性能分析带来的挑战,通过拉普拉斯变换和矩之间的关系,首次推导出了接收到的信号同相时级联信道的平均信道增益,并分析了基于信号增强的RIS辅助NOMA网络中用户的保密中断概率和平均保密容量。更进一步,在高信噪比时进行了渐近性分析,理论分析与仿真结果表明,与基站直接通信用户的保密分集增益不受RIS元素数目的影响,为常数1;小区边缘用户的保密分集增益由RIS元素数目以及基站到RIS、RIS到边缘用户链路的Nakagami-m衰落参数决定;直连用户和边缘用户的平均保密容量的高信噪比斜率分别为1和0,即随着信噪比的增加,直连用户的平均保密容量增加,而边缘用户的平均保密容量存在一个上界。2.为了解决基于信号增强的RIS辅助NOMA安全通信系统中RIS元素数目增加反而损害系统安全性能的问题,针对大尺寸RIS,考虑基站与合法用户以及窃听者间存在直连链路的多用户场景,建立了基于信号消除的RIS辅助NOMA安全通信传输模型,在已知信道状态信息的情况下,提出了一种新的基于信号消除的RIS设计方案,并基于次序统计量对RIS辅助NOMA通信网络中用户的性能进行分析。理论分析与仿真结果表明,当RIS元素数目达到要求后,RIS元素数量的增加对系统性能没有影响;基于次序统计量的用户分集增益由其信道序号决定;所提基于信号消除的RIS设计方案解决了基于信号增强的RIS设计方案中随RIS元素数目的增加令系统保密性能下降的问题,并且避免了对特殊信道编码的需求,使用传统信道编码就可以实现保密的目的。3.针对STAR-RIS扩展到全空间覆盖的同时,面临360°被窃听风险这一问题进行研究,建立了STAR-RIS辅助NOMA安全通信传输模型。根据窃听者位于STAR-RIS的反射空间或折射空间两种场景下对其PLS性能进行分析。为了表征系统的安全性能,首先根据三角分布以及拉普拉斯变换与矩之间的关系,推导出了就窃听者而言STAR-RIS的反射/折射相移随机情况下窃听者级联信道的平均信道增益;然后对不同场景下的网络PLS进行研究,并对比了窃听者位于不同半空间时,网络中用户通信安全性能的差异。理论分析与仿真结果表明,在不同场景下,由于STAR-RIS的幅度反射系数和幅度折射系数的不同以及功率分配因子的差异,导致用户具有不同的PLS性能,但是不同场景下用户的保密分集增益相等,由STAR-RIS元素数目和Nakagami-m衰落参数所决定;然而,当STAR-RIS与窃听者间的距离较远时,两种场景下用户的保密性能趋于相同。