快速发展的无线通信已成为信息产业中最为耀眼的亮点,并成为推动社会经济发展的强劲动力。但无线通信的迅速发展使有限的频谱资源与不断增加的系统容量需求之间的矛盾越来越突出。结合空时处理的多输入多输出(multi-input multi-output, MIMO)技术的出现,为解决该矛盾提供了新途径。MIMO无线通信系统因为在容量和频谱利用率方面的卓越性能,成为未来无线通信系统的发展方向。本文分析了影响MIMO系统实际应用中系统容量、传输速率和传输可靠性的因素,深入研究了一系列相关理论和关键技术。特别是在空间复用MIMO系统中的天线选择技术,闭环MIMO系统的分集与复用折衷优化问题,多用户MIMO系统预编码方法和相关优化设计问题等方面做了详细研究。基于误码率准则的天线选择技术可以有效的提高空分复用系统的传输性能,降低系统成本,但由于实时性问题使其实用性变差。本文提出了基于误码率准则的次优天线选择算法。该算法利用系统误码率、线性接收机输出信噪比与信道矩阵之间的函数关系对系统误码率上边界进行近似,进而选择较优的天线子集,达到改善系统传输性能的目的。为了降低计算复杂度,推导出了复域递推Householder变换方法,在此基础上给出了快速的天线选择算法。与传统算法相比,该算法降低了计算量的同时提高了系统的传输可靠性,改善了空分复用系统的性能,可以很好的满足系统实时性、快速性的要求,在相关信道传播环境中也可获得可靠的传输性能和较好的系统容量。针对空分复用多用户MIMO系统利用发送选择分集算法系统成本过高,不易于实现的问题,提出了一种适用于多用户MIMO系统下行链路的联合天线选择算法。通过对多用户系统基站发送端和用户接收端传输错误概率的分析,得到以系统误码率最小化为目标的选择准则。该算法可以获得较好的误码率性能,有效的降低了多用户系统复杂度,在系统性能和硬件成本间取得了较好的折衷。提出一种闭环多天线系统的分集复用判决切换算法。该算法以误码率为准则,在发送端根据反馈信息采用不同工作方式来满足系统的要求,充分利用分集复用增益,使得可切换MIMO系统的传输速率和可靠性得到很大程度上的改善。采用低复杂度的判决准则,推导得到一种分集复用模式快速切换算法对系统分集复用模式进行选择,达到充分利用多天线系统分集与复用利益的目的。与现存算法相比,本文给出的算法可以更好地利用系统的瞬时分集增益,大大降低了计算复杂度,很好地满足了多天线通信系统对实时性和快速性的要求。以系统可靠性和传输速率为目标,提出了基于自适应码率、功率分配技术的多天线系统分集复用折衷算法和快速折衷算法。该算法在链路级采用自适应的码率和功率分配方案,根据信道实时状态信息选择多天线系统工作方式,充分利用系统分集复用增益的同时具有较好的抗扰动性能和较低的计算复杂度,适于实际的通信环境。在以基站为中心的下行多用户MIMO通信系统中,其传输的关键在于如何有效的消除多用户干扰,使移动台获得良好的传输性能。为满足这一性能要求,在单天线多用户波束形成的基础上,提出了一种多天线多用户的预编码算法和发送端性能优化预处理算法。该算法利用下行广播信道多用户信道矩阵分块的方法构造干扰用户零空间,进行多用户干扰消除,充分利用多用户MIMO系统性能。与以往线性预编码算法相比,所提算法可以获得较好的误码率性能,且具有较低的计算量,满足了无线通信系统实时性、快速性的要求。考虑到空分复用多用户MIMO系统用户间缺乏协作以及消除多用户干扰后残存误差对传统线性接收机检测性能的影响,本文利用每个用户的自身信道对多用户系统用户端信道进行扩展重构,基于扩展后的信道对多用户系统用户接收机进行优化均衡。减少了多用户干扰消除后的残差和信道估计误差的影响,有效地改善了多用户MIMO系统接收机性能,具有较好的鲁棒性且易于实现。给出了一种迭代的多用户MIMO系统用户选择算法,避免了用户信道矩阵直接求逆,减少了计算量。不仅可以获得较好的系统容量,具有较低的计算复杂度,而且对于实际的多用户MIMO通信系统具有较强的适用性。