未来的无线移动通信网络(5G)将支持海量的移动用户和终端设备的接入,满足超高带宽、超密集站点、超高大容量传输、低时延的用户体验要求,需要更加丰富和多样化的服务和保障高安全的应用。与传统有线网络相比,无线移动信道的广播特性和移动特性,使得网络中合法用户的通信很容易遭到非法用户的窃听和攻击。在传统无线通信网络中,通常在网络层及上层使用基于密码学的加密技术保障系统通信安全。现有基于密码学的技术实现安全是建立在基于计算的安全之上,即假设攻击者在未知密钥的情况下无法通过计算在有限时间内解密。但是随着计算机技术,特别是量子计算技术的不断发展,将导致现有的基于密码学的安全技术面临巨大挑战。同时,仅依靠现有的基于密码学的安全技术无法满足未来无线移动网络多样化应用场景的安全需求。相比传统上层安全技术完全依靠密钥的保密性和计算复杂度,基于物理信道的安全技术旨在利用无线通信物理媒介的随机性和唯一性(如无线衰落信道,接收信号强度,硬件指纹等),为用户提供轻重量和高安全的通信保障。基于物理信道的安全技术不用假设攻击者的计算能力有限,根据无线信道和不同业务应用环境的特征,结合收发信号处理、调制和编码等物理层技术并与上层安全加密技术联合,将构筑一个全方位的,立体化的安全体系。目前,基于物理信道的安全技术已经被学术界公认为未来无线网络安全的关键技术之一,具有十分广阔的应用前景。针对未来无线通信网络中的安全关键问题,本文的主要研究内容和创新点概括如下:1.研究了用户的随机移动特性对无线通信网络物理层安全性能的影响,提出了一种随机移动用户物理层安全模型针对目前物理层安全研究很少考虑网络中用户移动特性对物理层安全性能的影响,提出了一种随机移动用户物理层安全模型,研究用户在三种不同的随机移动下的物理层安全特性,对稳态运动状态下随机移动用户的遍历安全容量进行理论分析,推导了安全中断概率以及非负安全概率的精确闭合表达式。经过充分的理论推导和仿真实验,证明了随机路点移动用户相对静态均匀分布用户和其它类型的随机移动用户,其遍历安全容量和安全中断概率提高约10%-20%。进一步分析了随机运动停留时间对用户安全中断概率的影响,证明了无随机停留时间的RWP移动用户将取得最好的安全性。提出两种针对随机移动用户提高安全容量的策略,通过充分的仿真实验验证其可有效提高移动用户的安全容量。最后讨论了模型的推广与应用。2.提出一种MIMO波束成形结合安全编码的无条件安全通信模型为实现未来无线通信网络中高强度安全传输,提出一种MIMO波束成形结合安全编码的无条件安全通信模型,该模型在合法通信双方无需共享任何秘钥条件下,利用MIMO信道的特性直接实现窃听者的接收信息量几乎为零(即误码率为0.5);同时仍然保持主信道以低误码率传输。对MIMO波束成形的优势信道进行了详细的理论分析,并给出了MIMO波束成形在目标安全速率下的安全中断概率的精确闭式表达式。通过仿真实验,验证了所提模型的安全性能。随后将模型扩展至MIMO波束成形和人工噪声AN结合建立优势信道,并联合安全编码提出了MIMO-BAN模型。提出一种人工噪声功率分配结合安全编码的策略,通过仿真实验证明该模型可在更短码长的安全编码(分组长度低于100)下取得更好的安全与可靠通信性能。3.提出一种MIMO跨层的安全增强传输方案针对物理层安全传输技术完全依赖物理信道随机性的局限性,提出一种MIMO跨层的安全增强传输方案,通过利用上层序列控制物理层发送信号的权系数,以较小的开销和复杂度实现了安全增强传输。与MIMO物理层安全技术相比较,新模型在两种典型的安全不利的情况下(假设窃听者能获取精确的信道信息或窃听者攻破控制序列的情况)仍然保证窃听者的误码率为0.5,而合法接收者保持可靠通信。通过大量的理论分析和仿真实验,并在真实的环境中进行测试,证明了所提模型的安全性。所提出的方法可应用在高速、高安全需求的移动通信场景中。4.提出一种适用于移动网络的对身份认证攻击的探测方案基于身份认证的攻击是无线通信网络的严重威胁之一。针对无线网络移动性特点,提出一种基于信道互惠变量的探测方案以探测基于身份认证的攻击。该方案综合利用无线信道的空间非相关性,随机性和互惠性,在移动环境下和任意的攻击帧和合法帧交互情况下仍然可以在保持在低于10%的虚警率下取得高于90%探测率。对所提的方案进行了理论分析和数值仿真验证,并通过802.11设备在真实的室内和室外移动环境下进行了实验,验证了所提模型的有效性和实用性。