无线通信的广播特性决定了通信信号易被非法接收者截获，因此，如何防止通信内容泄露，即实现安全通信，一直是无线通信系统设计中必须要考虑的因素。传统的安全策略和体制都是基于物理层之上设计的，并且都认为物理层的链接是无差错的。而本文针对MIMO系统，恰恰从物理层入手，采用人为干扰或者协作干扰的方法，向非法接收者引入差错，从而实现通信消息的安全保密。本文的主要工作如下：1.针对非法信道是合法信道的非退化信道时安全容量为零的问题，研究了基于GSVD预编码的MIMO系统安全容量及三种功率分配算法，提出了对非法信道零奇异值对应的零空间子信道进行等功率分配或者功率分配表达式取极限的方法，从而完整地形成了基于子信道差异最大化和基于KKT条件的功率分配法，最终实现了对子信道的合理筛选和舍弃。仿真表明，基于GSVD的预编码结合上述两种功率分配法，能够有效地提高MIMO系统安全通信速率。2.针对单用户MIMO系统，在已知非法信道完美信息的条件下，研究了两种理想化的安全通信算法。其中，非法信道零空间法可以使得非法接收者对通信消息完全“无知”，而广义特征值分解法则可最大化合法接收者与非法接收者的SNR差异。另外，在未知非法信道信息的条件下，研究了人为干扰算法——发射者不仅发射消息信号，而且发射人为干扰，在不影响合法接收者QoS的前提下，使非法接收者的SINR急剧下降而无法译码信号。3.针对多用户MIMO系统，研究了基于单消息符号发射方式的人为干扰算法，提出了动态调整的功率分配法，该方法不需要对人为干扰和分配给每个合法者的功率进行数值计算，但是，需要一个发射者和各合法接收者“交互”的过程。针对该算法的通信效率较低的缺点，提出了基于消息块预编码的人为干扰算法——在实现“安全性”的同时考虑“有效性”和“效率”问题，设计了人为干扰和预编码矩阵，其中的预编码算法是已有的用于消除多用户干扰的“迫零”方式与基于SVD分解的线性预编码方式的结合。仿真表明，其进一步降低了非法接收者的SINR，并提高了多用户MIMO系统的通信容量。4.针对发射者的功率受限以及为了能够充分利用空间维度对非法接收者实施干扰，研究了基于协作干扰的高斯MIMO信道的安全容量算法——借鉴现有的算法以及利用半正定矩阵的性质，按照“发射者-协作者-发射者”的顺序，三次优化其发射协方差矩阵，从而提高了MIMO系统的安全容量。其中，提出了优先寻找满足半正定条件的协作者协方差矩阵，然后确定协作者发射功率的思路，从而更正了相关文献中的一些不妥之处。另外，本文研究了多协作者条件下的安全速率，给出了CCJ和UCJ两种协作干扰方式，并且，通过将协作者的个数建模为服从泊松分布的随机过程，具体地分析了影响安全通信速率的因素。仿真表明，协作者的分布密度、个数等指标与两种协作干扰方式下的安全通信速率大小有直接的关系。