为了追求更高的频谱利用率和无线通信系统容量，无线多输入多输出(MIMO)技术越来越受到人们的重视。MIMO技术是无线移动通信领域中智能天线技术的重大突破，该技术能在不增加带宽的情况下成倍地提高通信系统的容量和频谱利用率，成为下一代移动通信系统采用的关键技术之一。然而一些实际物理条件限制了MIMO技术的应用，为此提出了协作分集的概念。在协作分集系统中利用中继节点传输信号副本至目的节点，从而使本不满足多输入多输出的系统也构成虚拟的MIMO系统获得空间分集增益。协作空间复用技术则能通过多个中继节点分别传输不同的子比特流的方式，获得比协作分集更优的空间分集增益。 本文着重对MIMO和协作空间复用系统的解码算法进行了研究，得到了一些有用结论。论文主要内容如下： 1)对MIMO系统中的空时编码技术和多种接收算法进行了阐述。 2)对球解码算法进行研究，通过对球半径选择的分析，提出了一种可变半径的球解码算法，并通过仿真验证了该改进算法具有较优的性能。 3)对协作通信系统进行阐述，并对协作分集的协作协议进行了总结。 4)研究了协作空间复用系统中的信号检测算法。从理论上分析了协作空间复用系统的性能上界，提出了几种信号检测算法，仿真比较了这几种信号检测算法的性能并对仿真结果进行初步的分析。