无线中继网络的广播特性使合法信号极易被窃听,给信号的安全传输带来了巨大挑战。当前,基于物理层的安全通信引起了学者们的广泛关注,作为一种利用信道随机性的安全机制,其在信息安全领域占据了越来越重要的位置。而探索混合组播技术的安全传输的目的是能够保证有效信号在广播过程中不被窃听端获取,只传输给合法接收端。本文主要研究了在大规模多输入多输出(Massive Multiple Input MultipleOutput,Massive MIMO)中继网络中使用混合组播技术进行信号传输的安全问题,具体工作总结如下:首先,本文在现有天线阵列的基础上提出了一种新形阵列:桶形天线阵列。并与现有天线阵列的比较,研究结果表明桶形天线阵列能够取得较好的安全速率。其次,考虑了系统在物理层上的安全性能,并假设发送端可以获得全部的信道状态信息(Channel State Information,CSI)基础上。本文提出了一种在大规模MIMO信道下的混合单播/组播传输系统,将所有的接收端用户分为组播用户、单播用户和窃听用户,发送端发出信号后,使组播用户和单播用户正常接收合法信号,同时抑制窃听用户接收信号,目的是使系统的安全速率达到最大值。主要的防窃听方案为:采用线性预编码和组播波束成形消除各组内部的信号干扰,再运用零空间法消除各个分组用户之间的信号干扰,同时使窃听信道正交,达到抑制信号的作用。同时,本文提出的防窃听方案用于桶形天线阵列也能够取得较好的安全速率。最后,本文在仿真结果中考虑了互耦效应,能够在较为真实的信道环境下验证防窃听方案的有效性。结果表明,在大规模MIMO无线中继网络下,应用于不同的信道模型,随着信噪比的增加、发送端天线数目的增加、窃听端数目的增加,本文提出的防窃听方案在以上情况下均能使系统安全速率显著提高。