本文主要探究多天线无线通信系统中的物理层安全问题,将分为传统频段与毫米波频段分别展开算法的设计。在传统频段,系统存在被动偷听者的情况已经得到了广泛细致的研究,因此,本文考查系统中存在一名积极偷听者时的情况。该偷听者发动导频欺骗攻击,使得发送方在上行导频训练阶段错误估计信道信息,造成下行数据传输过程中合法通信质量下降,更会导致严重的信息泄露。为了检测这种导频欺骗攻击并最大程度降低其带来的危害,本文提出了一种利用随机导频信号辅助的导频检测攻击算法。当检测器返回“系统不存在导频欺骗攻击”时,本文提出了两个增强算法:一是能够提高信道估计准确性的信道信息估计增强算法;二是能够有效防止由于检测器漏检造成信息泄露的下行数据保密传输策略。大量仿真实验证明,所提随机导频训练序列辅助的导频欺骗攻击检测器能够在各种情况下实现准确检测,其性能优于其他最新导频欺骗检测算法;所提两个增强算法同样能够实现各自的功能。另一方面,随着5G时代的到来,无线通信所使用的频段已拓展至毫米波频段,相关研究如火如荼,然而毫米波多输入多输出(MIMO)系统中的物理层安全技术,特别是保密混合波束成形设计算法,尚处在研究的初期阶段。因此本文主要讨论了毫米波MIMO系统中利用保密波束成形技术实现物理层安全的问题,提出了可用低分辨率移相器实现模拟滤波器且不依赖码本的算法思想,和由高分辨率移相器实现模拟滤波器且依赖码本的算法思想。根据偷听者信道状态信息的已知情况,和两种不同的算法思想,本文一共给出四个算法。大量的仿真实验证明,所提保密混合波束成形滤波器算法在四种情况下均能够有效防止偷听。