空间调制(Spatial Modulation,SM)是一种基于稀疏射频设计的多天线物理层传输技术。由于空间调制具有其低复杂度和低功耗的优势,能够在系统传输效率与误码率性能之间提供良好的折中,因此成为了多输入多输出(Multiple Input Multiple Output,MIMO)系统的重要技术之一。本论文从接收机设计出发,针对空间调制的发端信号结构,研究了空间调制系统中的频偏干扰、限幅干扰、多径干扰和信道误差等问题,并基于上述问题,设计出一系列能提供低复杂度和高性能的迭代信号检测算法。全文的工作主要包含以下几个方面:首先,本论文的第二章,针对瑞利衰落信道,分别研究了空间调制系统中用于信道干扰抵消的Turbo均衡迭代检测算法和用于数据干扰抵消的消息传递迭代检测算法,为后续的接收机算法研究提供了基础。本论文的第三章,针对空间调制多载波(Orthogonal Frequency Division Multiplexing,OFDM)系统中的频偏和限幅干扰问题,并结合其结构特点,提出了相应的干扰抑制迭代检测算法。一方面,针对SM-OFDM系统中的频偏干扰模型,采用第二章所介绍的消息传递算法,基于先验概率信息,利用不同的准则,提出了多种基于软输入软输出(Soft-Input Soft-Output,SISO)的迭代干扰抵消算法。另一方面,针对SM-OFDM系统中的限幅模型,分别提出了基于硬判决反馈与软判决反馈的迭代检测算法,进一步提升了系统的性能。本论文的第四章针对单载波(Single-Carrier,SC)空间调制系统,结合循环前缀(cyclic-Prefix,CP)和零前缀(Zero-Prefix,ZP)的帧结构模型,分别提出了基于频域和时域的Turbo均衡检测算法。首先,基于CP-SC-SM的系统模型,在传统的线性频域均衡的基础之上,分别引入了时域反馈和压缩感知的概念,提出了基于时域软判决反馈和基于通用近似消息传递的频域Turbo均衡算法,进一步提升了算法的误码率性能。其次,基于ZP-SC-SM模型,采用不同的软反馈方式,以不同程度的复杂度增加为代价,提出了多种时域Turbo均衡算法,能够在系统性能与算法复杂度之间提供良好的折中。最后,本论文的第五章,针对CP-SC-SM系统中的信道误差模型,提出了一系列联合信道估计的迭代检测算法。一方面,从真实的信道估计出发,充分利用信道的一阶和二阶矩信息,提出了基于时域软判决反馈和频域软判决反馈的频域Turbo均衡鲁棒接收机,较现有的基于理想估计的均衡算法在性能上具有明显的提升。另一方面,为了进一步应对信道误差较高的情况,采用数据辅助信道估计的方式,提升信道估计的精确度,提出了基于数据辅助信道估计的频域均衡鲁棒接收机。仿真结果表明,所提的鲁棒接收机都能够很好的利用信道估计信息,获得更好的系统性能。