多输入多输出(Multiple-Input Multiple-Output,MIMO)技术是无线通信提升信道容量,改善通信质量的重要技术之一。无线信道衰落,时变等特点需要MIMO系统从经历衰落及噪声叠加的接收信号中正确地估计出发送信号,检测算法对系统性能会产生直接影响,其好坏尤为重要,同时检测端存在计算复杂度与性能的折中问题。本文以已有研究工作为基础,对MIMO系统及其分支广义空间调制系统做了更加深入地研究,本文的工作可分为以下几部分:首先,从经典检测算法入手,如最大似然检测及线性检测,以迫整检测为核心,重点讨论迫整检测的系统模型及其检测过程中的关键问题,如:等效信道矩阵及预处理矩阵的选取,并具体地分析其解决方案,如:利用格基规约寻找等效矩阵。其次,广义空间调制作为MIMO系统的分支,也存在计算复杂度与性能折中问题。故本文提出两种基于迫整检测且适用于广义空间调制系统的改进算法,分别为线性检测估计天线序号、迫整检测估计符号和发送天线全搜索的迫整检测,其同时对比和分析了两种算法的性能和复杂度,前者计算复杂度低易于实现,后者可获得与最大似然相近的性能,为广义空间调制系统提供了较好的检测算法。最后,将可获得发送分集增益的空时编码与获得接收分集的迫整检测相结合。多用户空时编码系统存在译码复杂度高的问题。为降低系统译码复杂度并保证较好的系统性能,首先将低复杂度的迫整检测算法用于多用户空时编码中,并基于等效噪声功率最小化原则获取了迫整检测的差错概率上界。为解决迫整检测的多用户空时编码设计问题,提出了基于迫整检测的全分集多用户空时编码设计准则,证明只要每个用户的空时编码方案均满足非零奇异值特性,则多用户空时编码可获得满分集增益。