无线通信技术的不断发展使人们进入了信息化时代;与此同时,随着无线网络的广泛应用,人们对通信服务的质量和数据传输速度也有了更高的要求。但是,无线信道的广播特性以及无线网络的复杂性和多样性,使得无线通信系统更容易被窃听,因此必须采取一些措施保证信息安全传递。物理层安全利用了无线信道的特性,从信息论的角度,在底层提高系统的安全性能。本文主要针对MIMO(Multiple-Input Multiple-Output,MIMO)窃听系统进行讨论,并引入了中继协作技术以及预编码技术,以此来提高系统的安全性能,防止非法用户窃取信息。在物理层安全中,可达安全速率和安全容量作为最常见的安全衡量指标从信息论的角度给出了无线系统的安全极限;但是其计算复杂度很高,在实际工程中很难找到满足安全容量的可实现的编码方法。而均方误差(Mean Square Error,MSE)使用估计理论评价系统的安全性能,仅根据估计信号与实际信号的差异就可以指明合法端与非法端的通信质量,计算量很小且处理方式简单,存在可实际发送的可实现的编码方式;除此之外,误码率(Bit Error Rate,BER)与MSE有着紧密的联系,可以进一步为工程的实现提供参考依据。尽管如此,在物理层安全中对MSE的应用仍然很少,这是因为使用信息论而不是估计理论衡量安全性是一个规范。于是,本文尝试将安全理论与估计理论联系起来,针对多种模型进行研究,包括无中继的MIMO系统、收发间无直达路径以及存在两条接收路径的MIMO中继系统,找到了可达安全速率与MSE的关系,这种关系具有普遍性。根据得到的结论发现,存在一个信号功率值使得对可达安全速率的优化可以转化为对MSE的优化;且在低信号功率的情况下,两种优化是近似等价的,证明了在物理层安全中对估计理论进行研究是有价值的。此外,鉴于MSE的优势,本文提出了几种基于MSE的预编码设计;主要基于两种思想,一种是在窃听端MSE满足一定条件时最小化均方误差,另一种是最大化非法用户与合法用户MSE之差。在此基础上,又结合可达安全速率与MSE的关系给出了改进方案,不再使用实际的信号功率求最优预编码矩阵,而是找到可以使系统安全性能最高的功率值去求解。这几种预编码设计的解决方法是类似的,且对于不同的模型以及不同的中继协作策略算法的复杂度也基本相同。最后,本文对提出的几种预编码设计进行了仿真与性能比较,验证了提出的方案不仅计算复杂度低而且安全性能也很好。