随着移动通信技术的快速发展,特别是第五代移动通信技术(5G)即将正式投入商用,通信安全的重要性也越来越突出,现有安全技术面临着巨大挑战。5G中采用了大规模多输入多输出(Massive multiple-input multiple-output,Massive MIMO)技术,网络规模增大,组网形式更加灵活多样,使得通信网络从硬件到软件,再到网络管理都面临着安全挑战,针对无线通信网络的窃听和攻击技术也发展迅猛,移动通信的脆弱性和安全性问题日益突出。与此同时,现有的上层安全技术已不能满足通信网络的需求。随着计算机计算能力的发展,传统的在上层通过公钥或私钥体制利用计算复杂度增强通信安全性的加密方法面临挑战。并且,由于无线信道的广播特性和侦听技术的快速发展,窃听者可以通过一定手段获得合法通信双方调制方式和信道编码类型等传统安全策略无法保护的信息,继而利用这些信息推测通信意图,甚至推测出明文信息。因此,从物理层开始构建安全传输机制成为目前研究的热点。物理层安全加密技术旨在利用无线信道本质特性,在物理层实现对调制信号和编码信息的安全防护。物理层安全技术和上层安全技术相结合,能够全方位的保护无线通信系统,极大程度提升了系统的安全性。论文围绕下一代移动通信中的物理层加密(Physical Layer Encryption,PLE)技术展开研究,主要工作包括:首先,总结了下一代移动通信也就是5G网络架构和关键技术,重点研究了大规模MIMO技术,然后分析了下一代移动通信的安全需求,包括真实性、机密性、完整性和可用性。分析了移动通信中的安全漏洞,包括物理层、MAC层、网络层、传输层和应用层等的安全漏洞和攻击手段,对下一代移动通信面临的安全威胁进行了分析。对现有的物理层安全技术进行了总结和分析。然后,针对大规模MIMO系统中的空间调制(Spatial Modulation,SM)技术,提出了一种基于混沌天线索引的三维调制物理层安全传输方案。该方案将大规模MIMO系统的发射天线两两组合,对比特序列进行三维调制,然后引入混沌理论生成密钥集,保护天线组合和映射模式以及调制方式。该方案充分利用了无线信道相位响应的随机性、互易性和位置敏感性,并将该特性用于增强物理层信号的安全性。理论分析和仿真结果表明所提方案具有较强的安全性和可靠性,且较于传统SM-MIMO系统,频谱效率极大提高。其次,针对大规模MIMO中的差分混沌键控(Differential Chaos Shift Keying,DCSK)技术,提出了一种基于天线选择的差分混沌键控物理层安全传输方案。该方案从发射天线中选择两根作为参考天线,其余天线分为两组,分别与其中一根参考天线进行DCSK调制。理论分析和仿真结果表明,在保证误比特率性能的同时,所提方案不仅可以保证很高的频谱效率,还可以提高系统的保密性。最后,论文对前文的研究工作进行了总结,指出尚待改进的方面,并展望了下一代移动通信技术中的物理层加密技术的后续研究方向。