正交频分复用索引调制(OFDM-IM)是一种新型的多载波调制技术,它只激活部分子载波用于传输数据,且利用激活子载波的索引来传递信息,因此OFDM-IM的传输信号具有稀疏性。其有别于正交频分复用调制(OFDM)的特殊结构,使得OFDM-IM比OFDM具有更高的能量效率,以及对多普勒频移更强的鲁棒性等优势。首先本文研究了OFDM-IM在时不变信道下的联合信道估计和信号检测。一方面,OFDM-IM不同于OFDM的特殊结构,即每个块中的激活模式(AP)约束增加了联合估计检测的难度。另一方面,不同的消息传递算法有不同的运用范围和优缺点,如何合理将相关算法用于联合信道估计和信号检测也是一个挑战。基于频域信道和时域信道相关的系统模型,本文构造了两种对应的因子图,并提出了有效的消息传递算法结构,包括:基于频域因子图的平均场近似(MF)-置信度传播(BP)算法和引入约束因子的MF-BP算法,基于时域因子图的BP-MF-BP算法和联合广义近似消息传递(GAMP)-MF-BP算法。其中,引入约束因子的MF-BP算法是MF-BP的改进算法,它考虑了每个OFDM-IM子块的AP约束,因此其误比特率(BER)性能最优,但是复杂度也比其他三种算法高。基于时域因子图的算法考虑了信道时域-频域变换,BP-MF-BP算法用BP处理了有环信道变换部分,因此其性能是这四种算法中最差的。GAMP-MF-BP算法用GAMP算法代替BP算法来处理信道时域-频域变换,因此其复杂度低,且性能与引入约束因子的算法性能近似。其次,本文研究了OFDM-IM在时变信道下的信道估计和信号检测。首先考虑当信道已知时的信号检测问题,由于时变信道引入了严重的子载波间干扰,从而增加了信号检测的难度。结合OFDM-IM的AP约束和发送信号的稀疏性,本文设计了基于近似消息传递算法(AMP)的检测器。针对等效频域信道矩阵元素的分布特征,提出了damped AMP检测器。其次,当信道未知时,由于时变信道中的待估计信道参数很多,联合信道估计和信号检测成为一个更复杂的问题。为了降低信道估计的复杂度,本文采用基扩展模型(BEM)估计信道参数,并提出了一种turbo迭代结构。在这种迭代接收机中,软信息在信道估计器,信号检测器和译码器之间迭代:首先用AMP估计BEM系数,然后重建信道;同时,基于重建的信道和来自于译码器的软信息,用AMP来恢复传输的信号,并将这些软信息送给译码器。此外,在信道估计器和信号检测器中提出了damped AMP和向量AMP两种方法。