多输入多输出(Multiple-Input Multiple-Output，MIMO)无线通信系统是指在无线通信系统中，发射端和接收端配置多个天线单元进行数据的发射和接收。MIMO无线通信系统的优点是在保持单输入单输出(Single-Input Single-Output，SISO)无线通信系统资源(时、频、码)不变的条件下，引入新的系统资源——空间资源，使无线通信系统在不增加额外带宽和功率的条件下可以极大地提高系统信道容量并增强系统的可靠性传输。MIMO作为第四代移动通信系统的关键技术得到了广泛和深入的研究。本文研究的MIMO系统模型包括单用户MIMO系统(Single User MIMO，SU-MIMO)、多用户MIMO系统(Multiple User MIMO，MU-MIMO)、单中继MIMO系统(Single Relay MIMO，SR-MIMO)和多中继MIMO网络(Multiple Relay MIMO，MR-MIMO)等。 在SU-MIMO系统中，主要研究了基于TAS/MRC(Transmit antennaselection/Maximum ratio combining)的天线选择方案在两种场景下的系统性能。一种场景是理想反馈环境，即发射端已知信道瞬时信息；另一种场景是非理想反馈环境，发射端可获得具有一定时延的信道信息。论文首先分析了TAS/MRC方案在理想反馈环境下系统的性能；其次，推导了TAS/MRC方案在非理想反馈环境下反馈延时与系统性能的解析关系式。理论分析和数值仿真均表明了非理想反馈对TAS/MRC系统的性能会造成很大的衰减。 在有限用户数的场景下，首先研究了MU-MIMO中采用迫零波束成形(Zero-Forcing Beam-Forming，ZFBF)方案和正交线性波束成形(OrthogonalLinear Beam-Forming，OLBF)方案时MU-MIMO的和容量。为了进一步提高MU-MIMO在中低信噪比环境下MU-MIMO和容量，提出了基于子空间分解的正交线性波束成形(Subspace decomposition based OLBF，SOLBF)方案，推导了在SOLBF方案下MU-MIMO的和容量。通过理论分析得出了MU-MIMO系统在有限用户数及高发射信噪比环境下，ZFBF方案可取得最大的空分复用增益的结论；在有限用户数及低发射信噪比环境，OLBF可取得比ZFBF更大的空分复用增益；在有限用户数及中低发射信噪比环境下，SOLBF可取得最大的空分复用增益。数值仿真验证了在中低发射信噪比环境下，在上述三种方案中，SOLBF可取得最好的系统性能。 在SR-MIMO系统中，研究了基于信道信息的线性中继方案的设计。首先研究了迫零(Zero-Forcing，ZF)中继方案及其系统可获得的和容量。为了获得更高的系统和容量，论文设计了基于最大和容量的最优线性中继方案(Optimal LinearRelay Scheme，OLRS)。和ZF中继方案相比较，OLRS方案不仅可以消除多用户数据间的干扰(Multi-user Interference，MUI)，而且还可以实现用户间信道的对齐和中继节点处的最优功率分配。数值仿真验证了OLRS方案的性能要优于ZF中继方案及传统的线性中继方案(如AF和MF)。 在MR-MIMO系统中，假设多个中继节点之间相互独立，中继节点之间没有进行信息共享，论文研究了MR-MIMO系统中各中继节点基于其前向信道信息和反向信道信息的三种线性中继方案(ZF-ZF、BD-QR、BD-MZ)的设计，理论分析了MR-MIMO系统在ZF-ZF、BD-QR、BD-MZ线性中继方案下系统的和容量，并得出了采用上述三种中继方案，MR-MIMO系统可同时为多对独立节点对之间的通信提供服务，实现多用户数据干扰的抵消，获得多中继节点网络的宏分集增益和空分复用增益(包括各节点复用增益和多用户复用增益)。由于BD-MZ方案及BD-QR方案还可以获得接收分集增益，因此MR-MIMO系统基于BD-MZ或BD-QR方案的系统性能要优于ZF-ZF方案。