随着无线通信技术的迅猛发展及新型无线网络（物联网、车联网、机器通信网等）的不断涌现,大量敏感、机密信息将通过无线信道传输,信息传输的安全性面临严峻挑战。物理层安全技术作为密码学安全技术的重要补充,可提供不依赖于计算复杂度的安全,在增强无线通信安全性能方面具有重要研究意义。另一方面,为了满足数据流量的爆发式增长和海量移动设备接入,非正交多址（Non-Orthogonal Multiple Access,NOMA）作为提升系统频谱效率的关键技术,成为当前无线通信研究的热点。与此同时,NOMA同频干扰带来的信息泄露问题同样严峻。在目前资源受限的背景下,如何针对特定的应用场景,采用相应的安全传输技术,实现NOMA网络安全性能最大化是目前亟待解决的关键挑战。本论文从物理层安全传输的角度出发,研究多载波NOMA、多用户NOMA、多天线NOMA和协作NOMA等典型场景下,利用功率分配、载波匹配、波束赋形、协作干扰等手段,实现NOMA网络物理层安全性能的提升。本文研究成果如下:（1）单天线多载波NOMA安全传输的功率分配方案及性能分析:针对单天线多载波两用户NOMA网络,考虑用户最小传输速率和基站最大发送功率约束,分别建立了发送功率最小化和安全速率最大化的功率分配优化模型;通过KKT（Karush-Kuhn-Tucker）条件和连续凸逼近得到相应的功率分配半闭式解,提出基于块坐标下降法的功率分配优化方案,并分析了所提方案的收敛性和计算复杂度。仿真结果表明所提方案较NOMA-凸差算法能快速收敛。此外,与正交多址方案相比,所提方案可以有效地降低发送功率或提高安全速率。（2）多用户多载波NOMA安全传输的功率分配和载波匹配研究:针对单天线多载波多用户NOMA网络,考虑用户最小传输速率、载波接入用户数限制及基站最大发送功率约束,建立了安全速率最大化的载波匹配和功率分配联合优化模型;利用匹配理论,将用户-载波配对归结为用户与载波之间的双边匹配,并提出基于Gale-Shapley的载波分配算法;根据用户服务质量（Quality of Service）要求的发送功率可行域及目标函数的单调性,采用KKT条件推导出最优功率分配闭式解。仿真结果表明,与正交多址方案相比,所提方案可以提升115.8%的安全速率。（3）多天线多载波NOMA安全传输的功率分配和波束赋形设计:针对多天线多载波两用户NOMA网络,考虑用户最小传输速率和基站最大发送功率约束,建立了安全速率最大化的功率分配和波束赋形联合优化模型;通过证明功率分配问题全局最优解的必要条件,得到了功率分配的半闭式解;采用块坐标下降法,将波束赋形问题解耦为各个载波上的子问题,并利用Dinkelbach、连续凸逼近及半正定松弛等方法将非凸问题近似为凸问题进行求解。仿真结果表明,与正交多址方案相比,所提方案可以提升78.2%的安全速率。（4）基于协作干扰的NOMA安全传输性能分析和功率分配优化:针对协作中继NOMA网络,基于概率论推导了该场景下的遍历安全容量闭合表达式及渐进表达式;为进一步增强系统安全性能,提出基于源节点协作干扰的NOMA安全机制,并分析了链路距离等系统参数与遍历安全容量之间的联系;采用最优化理论,提出遍历安全容量最大化的功率分配方案,并给出了功率分配因子。仿真结果验证了公式推导的准确性,并且与不考虑协作干扰的方案相比,所提方案能够提升78.1%的安全速率。