下一代移动通信系统对数据传输速率和频谱利用率提出了更高的要求，多天线发送多天线接收(MIMO)技术以及多载波传输技术日益成为研究的热点。作为多载波传输技术的一种，正交频分复用(OFDM)技术可有效对抗多径衰落，适用于宽带系统，具有较高的频谱利用率，并可灵活分配频谱资源，但存在峰均比高的问题，不适用于上行链路，多用于下行链路；而DFT扩展的OFDM技术(DFT-S-OFDM)在传统OFDM技术的基础上采用频域处理的数据扩展方式，峰均比低，满足上行链路的低峰均比要求。将MIMO技术应用到OFDM以及：DFT-S—OFDM系统中是提高数据速率和频谱利用率的重要途径。本论文研究无编码/编码MIMO-OFDM系统、无编码/编码MIMODFT-S-OFDM系统中的信号检测算法。 对于无编码系统，首先研究了无编码MIMO-OFDM系统中的多种次最优检测算法，包括基于迫零(ZF)和最小均方误差(MMSE)准则的线性检测算法、串行干扰抵消检测算法、排序串行干扰抵消检测算法以及基于次最优排序QR分解的迫零检测算法。误码率性能和算法复杂度的折中，是检测算法研究的关键。在对这些算法进行理论推导、误码率性能仿真和算法复杂度统计的基础上，提出了基于次最优排序QR分解的混合判决反馈(DFE)分层检测算法(MMSE—SQRD-DFE)。通过仿真比较和算法复杂度分析得出，MMSE-SQRD-DFE检测算法是一种具有较高性能和较低复杂度的检测算法。本文接着研究了无编码MIMO DFT-S-OFDM系统中的线性检测算法以及串行干扰抵消检测算法，并对算法复杂度和误码率性能进行了比较。 对于编码MIMO-OFDM系统以及编码MIMO DFT-S-OFDM系统，本文对部分次最优检测算法进行了理论推导、算法仿真和误码率性能比较，并着重研究了基于MMSE软干扰抵消检测的迭代检测译码方法，该方法应用于迭代检测译码接收机，将检测和译码过程联合起来，让它们各自利用对方产生的软信息作为先验信息进行自身的处理，依此迭代，从而使系统获得更好的误码率性能。通过仿真可以得出，两种编码系统中采用迭代检测译码接收机可以大大提高系统的误码率性能，远优于传统的非迭代接收机，同时每次迭代都具有较低的算法复杂度。