空时编码技术是下一代移动通信的关键技术，众多研究人员已对其构造准则、设计方法和性能分析等方面进行了广泛而深入的研究。在各种空时编码技术中，正交空时分组码以其编译码简单和满分集增益两大优势尤为引人注目，本文重点分析了它在一种特殊信道—Keyhole信道下的性能。另一方面，采用分布式发射天线结构的空分复用系统，由于其容量优势受到越来越多的关注，本文也将研究其检测算法。论文首先介绍了多入多出(Multiple-Input Multiple-Output，MIMO)系统的历史、现状和趋势，重点总结了MIMO系统两大实现技术—空时编码和空分复用的研究现状。其次通过对Keyhole信道和分布式天线系统的简要分析，初步得出了Keyhole信道对正交空时分组码系统性能的影响，以及分布式天线系统相对传统集中式天线系统的优势。针对Rayleigh Keyhole信道下正交空时分组码无错误概率闭合表达式的问题，第二章分析了正交空时分组码在Rayleigh Keyhole信道下采用M-QAM(M-ray Quadrature Amplitude Modulation)和M-PSK(M-ray Phase Shift Keying)调制方式的符号／比特错误概率。首先针对具有任意收发天线数的系统，根据中断概率的渐近表达式分析了Rayleigh Keyhole信道所能提供的最大分集增益；然后基于矩生成函数的分析方法，导出了符号／比特错误概率的闭合表达式，并进一步得出了其在收发天线数不相等条件下的简单渐近表达式。第三章将Rayleigh Keyhole信道拓展到更具一般性的独立非同分布Nakagami Keyhole信道，通过分析矩生成函数，推导出了正交空时分组码在M-OAM和M-PSK两种调制方式下的误符号率的准确表达式，以及误符号率的简单渐近表达式。受Nakagami Kevhole信道下渐近性能分析方法的启发，第四章进一步推导出了独立非同分布Nakagami MIMO信道中正交空时分组码在M-QAM和M-PSK两种调制方式下的误符号率渐近表达式，它可快速准确地评估正交空时分组码在高信噪比区域的误符号率性能。第二、三、四章重点研究了空时编码技术。第五章则针对空间复用技术，研究了分布式发射天线系统的信号检测问题。根据系统的接收机模型，提出了一种基于排序的乔列斯基(Cholesky)分解的信号检测方法，性能优于已有的信号检测方案，并且具有较低的复杂度。最后一章总结了全文，并指出了继续进行的相关研究工作和未来的研究方向。