大规模多输入-多输出(Massive Multiple-Input Multiple-Output,大规模MIMO)被认为是第五代移动通信网络(the 5th Generation mobile communication technology,5G)的物理层关键技术。由于无线通信环境的开放性,基于大规模MIMO技术的通信过程存在着一定的信息安全风险。主动窃听用户可以通过污染上行链路中传输的导频信号,干扰大规模MIMO系统的信道估计结果,从而影响合法用户的上行信号传输和基站的下行波束赋形。这不仅影响通信质量,更为严重的是,会破坏信息传输的安全。针对以上问题,本文提出了两种不同的检测主动窃听用户的算法,分别适用于样本数目大于基站天线数目的场景和样本数目小于基站天线数目的场景。针对样本数目大于基站天线数目的场景,本文提出了一种基于大维随机矩阵理论的主动窃听用户检测算法。该算法基于信号子空间和随机序列的基本知识,通过传输随机序列创建无法由窃听用户伪造的随机用户特征。在基站天线数目和样本数目趋于一个较大值时,基站接收随机序列样本协方差矩阵的特征值分布收敛于可以用矩阵维度表征的极限谱分布。本文基于大维随机矩阵理论推导出合法用户信号特征值的极限分布,用于确定合法用户信号特征值的分布范围。本文提出用大维随机矩阵理论的结果,通过假设检验判断系统中是否存在主动窃听。同时,使用大维随机矩阵理论的Marcenko-Pastur定律去除噪声分量。蒙特卡洛仿真结果表明在不同样本数、基站天线数和信号功率的条件下,算法均具有稳定的检测性能。与经典的基于最小描述长度(minimum description length,MDL)和基于能量比检测(energy ratio detection,ERD)的算法相比,本文提出的算法显著提高了主动窃听用户的检测性能。针对样本数目小于基站天线数目的场景,本文提出了一种结合大维随机矩阵理论与线性收缩方法的主动窃听用户检测算法。传统的利用信息论准则检测主动窃听用户的方法,不适用于样本数目小于基站天线数目的情况。而本文提出的方法将线性收缩方法和子空间方法结合,可以有效地在小样本场景下进行主动窃听用户检测,而不产生额外的计算开销。本文提出利用大维随机矩阵理论求解噪声方差估计值,并将其与线性收缩方法相结合,以提升小样本下的检测性能。利用该方法对样本协方差矩阵的特征值进行线性收缩,可以使其更好地拟合总体协方差矩阵。将线性收缩后的样本特征值用于子空间方法进行检测,可以在小样本场景下准确地检测是否存在主动窃听用户。蒙特卡洛仿真结果表明,结合大维随机矩阵理论与线性收缩的检测算法可以有效检测主动窃听用户。在小样本场景中,不同基站天线数和信号功率的条件下,算法均具有良好的检测性能。