多输入多输出(MIMO)技术是无线通信领域的一项重要的技术突破,它能够在不增加带宽和发射功率的前提下显著提高系统容量和频谱效率。MIMO系统的空间复用技术充分利用了空间资源,在不同的发射天线上独立发射数据流以提高数据传输速率,从而有效提高无线通信系统的频带利用率。信号检测技术的好坏将直接影响到系统的计算复杂度和检测性能。因此本文在简单介绍空间复用MIMO技术、无线信道特征以及MIMO系统模型的基础上,针对空间复用MIMO系统检测算法进行较为深入地研究,主要工作如下：第一,在研究传统的接收端信号检测算法原理的基础上,深入分析MIMO系统检测算法改进方案。传统检测算法主要包括最大似然检测算法、线性检测算法和非线性检测算法。现有的具有最佳检测性能的最大似然(ML)算法,其计算复杂度随着发射天线数目及信号星座点数目的增加呈指数增长,严重限制了其在实际中的应用。而低计算复杂度的排序干扰逐步消去(OSIC)算法在迭代检测过程中的差错传播,将导致检测性能与最佳检测相比有很大差距。鉴于以上两种算法的缺陷,本文提出一种低复杂度性能近最佳(LCANOP)的MIMO系统检测算法,并在此基础上,针对高阶调制的信号遍历搜索路径依然存在数目很大的缺点,进一步提出一种带有纠错功能(ECF)的MIMO系统检测算法。以上两种改进方案都是运用不同算法进行了联合检测。第二,详细分析推导了检测算法改进方案的性能。首先在高斯白噪声信道(AWGN)和平坦瑞利高斯白噪声衰落信道下,对单输入单输出(SISO)系统的误码性能进行理论分析,然后推广到空间复用MIMO系统中,重点研究了MIMO系统中采用检测算法改进方案的检测性能理论表达式。以迫零(ZF)准则为例,根据改进方案的思路,通过着重分析ML检测算法性能和OSIC检测算法性能,推导出MIMO系统改进方案误码性能的上下界。第三,对检测算法改进方案的仿真研究。首先针对传统检测算法,给出MIMO系统在不同检测算法,不同收发天线数目及不同调制方式情况下的系统误比特率(BER)仿真曲线,并对误码性能和计算复杂度进行比较分析,为检测算法改进方案的仿真研究提供数据支持。然后对两种改进方案进行性能仿真和复杂度分析,仿真结果和数值分析验证了两种改进方案的合理性：LCANOP检测算法性能在逼近最佳检测的ML算法的情况下,明显降低计算复杂度；而ECF检测算法能够在检测性能和计算复杂度之间找到很好的折中点。这两种算法改进方案在空间复用MIMO技术信号处理中具有很好的参考和实用价值。