物理层安全技术从无线信道的本质属性出发,为安全通信提供了有效的解决思路。然而,现有的物理层安全技术主要针对被动窃听,当非法用户主动发送恶意干扰时,它能同时增强窃听性能和降低合法用户的接收质量,给物理层安全带来了新的挑战。针对恶意干扰下的物理层安全技术研究,目前还存在以下问题：1)缺乏抑制窃听方导频干扰的物理层安全传输方案,导致合法通信无法得到保障；2)针对单用户场景下的相干干扰,缺乏有效的物理层安全传输方案,导致系统安全速率低。针对上述问题,本文依托国家自然科学基金项目对恶意干扰下的物理层安全技术展开专门研究。论文首先定量地分析了恶意干扰对系统安全性能的影响,从而获取干扰威胁产生的根本因素和降低干扰性能的参数等重要结论。然后在所得结论的指导下,针对导频干扰,提出了一种基于导频图案和人工噪声的物理层安全传输方案；针对相干干扰,提出了一种基于连续零和博弈的物理层安全传输方案。主要研究内容包括：1、定量地分析了恶意干扰对系统安全性能的影响,为研究安全传输方案提供指导思路：1)针对导频干扰,分析干扰下的信道估计结果,并推导基于人工噪声的安全速率公式,从而获取导频干扰的根本威胁为被干扰的信道估计结果是合法信道和窃听信道的线性相加,提供的指导思路为：消除估计结果中的窃听信道部分,从而降低导频干扰的影响；2)针对相干干扰,推导了干扰下的安全速率公式,进一步分析系统噪声和干扰者位置等参数对性能的影响,得出恶意干扰者的干扰能力随着系统噪声的增加而降低,提供的指导思路为：人为地增大“系统噪声”,从而降低恶意干扰者的相干干扰能力。2、提出了一种基于导频图案和人工噪声的物理层安全传输方案。根据性能分析中的指导思路,首先合法接收方根据协商的导频图案发送导频信号,发送方在信道估计阶段获取窃听信道的近似估计,并用其消除被干扰估计结果中的窃听信道部分,从而降低导频干扰的影响。然后,发送方根据获取的信道状态信息设计合理的预编码矩阵,同时发送信号和人工噪声,实现信号的安全传输。数值仿真表明当干扰功率为100mW时,本文所提方案下的安全速率平均提高了1.34bit/s/Hz。3、提出了一种基于连续零和博弈的物理层安全传输方案。根据性能分析中的指导思路,首先建立发送方和恶意干扰者之间以安全速率为目标函数的连续零和博弈模型：发送方通过同时发送源信号和结构性噪声提高安全速率,恶意干扰者通过发送相干干扰降低安全速率；然后根据信道状态确定各自的策略集,并分析策略集对应的纳什均衡；最后利用均衡解指导发送方合理分配源信号和结构性噪声的功率。数值仿真表明在给出的仿真条件下本文所提方案达到的安全速率比原有方案的安全速率平均高0.141 bit/s/Hz。