MIMO技术通过利用空间资源显著增加了系统容量。在MIMO系统中,往往涉及高复杂度的多维信号检测问题,为系统实现带来很大困难。本文以寻求最佳性能与复杂度折衷方案为原则,对相干与非相干检测两种情形展开研究。空分复用结构V-BLAST系统只能采用相干方法检测信号。球形译码可作为实现该系统下最大似然(ML)检测的一种有效方法,其初始半径的选择与分配是影响算法性能与复杂度的重要因素。通过利用V-BLAST信号模型的统计特性,采用统计裁减的思路,提出了线性半径分配方案,并在性能分析基础上进一步提出了准线性半径分配方案。采用所提方案的球形译码算法显著缓解了传统球形译码算法在低信噪比下复杂度高、平均复杂度十分敏感于信噪比的缺点。自动球形译码是目前球形译码算法类中效率最高的,可用于解决V-BLAST信号检测问题,但该算法需消耗大量比较操作。鉴于在目前DSP技术中,比较操作对算法时间复杂度的影响不容忽略,在保证原算法效率的前提下,利用统计裁减提出了裁减自动球形译码(PASD)。通过适当设置算法中的参数可获得不同性能与复杂度间的折衷。当采用较高电平调制时,在相同信噪比范围内,所提算法在几乎不损失误码率性能的同时,较原算法节省大于30%的比较次数。差分酉空时调制(DUSTM)及其非相干检测算法不需要接收端估计信道,非常适合快衰落环境。本文基于连续衰落信道假设,将ML度量的一种递推形式嵌入自动球形译码中,构建了多符号差分自动球形译码算法。该算法以与观测窗口长度成平方关系的计算复杂度获得了ML检测性能,并提供了基于球形译码的多符号差分检测(MSDD)算法框架。在此基础上,通过忽略对检测性能影响较小的因素,分别提出了降低计算复杂度的多符号差分近似自动球形译码(MSDAASD)与降低比较操作次数的多符号差分裁减自动球形译码。所提算法适用于任意酉空时星座,消除了准静态信道假设下MSDD算法在快衰落环境下的误码平层。与现存的两种连续衰落假设下的典型算法,即多符号判决反馈检测(MS-DFD)与非相干序列检测(NSD)相比,所提算法的性能明显优于MS-DFD,接近NSD的性能,但其平均复杂度远低于NSD,在大多数情况下明显低于MS-DFD的复杂度。针对BICM(Bit-Interleaved Coded Modulation)-DUSTM与Turbo-DUSTM两种编码系统,在准静态信道与连续衰落假设下,分别提出了基于MSDD的低复杂度软输出检测算法和软入软出检测算法。在这些算法中,利用了未编码DUSTM系统中的MSDD算法作简化处理。与现存的大多数基于单符号检测的软检测算法相比,所提算法充分利用衰落信道相关特性,对高速移动环境下的可靠通信具有更好的适应性。在MIMO系统向宽带环境扩展的方案中,MIMO-OFDM可将频率选择性信道分解为若干并行平衰落子信道,这使平衰落信道下MIMO信号检测算法得以应用。对于空分复用结构V-BLAST-OFDM系统,利用各子信道频响间的相关性,结合分组排序与插值QR分解的思路,提出了适用于两发射天线的排序插值QR算法,实现了利用少数子信道矩阵的QR分解直接获取具有不同排序的所有子信道矩阵QR分解结果,为各子信道上的V-BLAST检测提供了低复杂度预处理方法。对于一种在单一MIMO-OFDM符号内完成差分酉空频调制的系统,将MSDAASD与相应的软检测算法应用于该系统,与文献中常用的单符号差分检测算法相比,所提算法对多径扩展具有更强的适应能力。