编码调制技术可以在不降低系统有效传输速率的前提下进行有效的编码和调制，是未来宽带移动通信系统中的关键技术之一。而LDPC码具有逼近香农限的优异性能，是当前信道编码研究领域的一个热点。本论文主要围绕基于LDPC码的一些常见编码调制系统的接收算法和系统的优化设计展开讨论。 论文第三章首先针对如何提高短码长LDPC-BICM系统的译码性能展开讨论。将BP级联OSD的译码算法应用于LDPC-BICM系统中，并针对中短长LDPC码在BP译码过程中各变量节点的LLR出现的幅值震荡现象，提出了一种改进的BP-OSD的译码算法。该算法可提高短码长LDPC-BICM系统的译码性能。接着针对LDPC-BICM-ID系统，根据BP译码器输出外附信息的特点，提出两种改进的迭代解调/译码算法。一种是基于译码器反馈信息均值的迭代接收算法，另一种是基于高斯近似的迭代接收算法。这两种算法都可以提高译码器输出外附信息的可靠性，从而能进一步提高系统迭代译码性能，而复杂度并无明显增加。 论文第四章中，利用EXIT图的方法，首先分析了调制星座符号映射方式对LDPC-BICM-ID系统性能的影响。分析表明，已有的卷积码编码的BICM系统下的映射方式的优化设计准则不再适用于LDPC-BICM-ID系统，应将映射方式的设计和码字的特性联合起来进行设计。在此基础上，利用EXIT图解调器和译码器互信息曲线相匹配的思想，提出了在LDPC-BICM-MIMO系统中，级联预编码器的优化设计方案。EXIT分析和仿真表明，该方法能提高系统的性能并能降低译码的错误平层。 第五章中，首先研究了LDPC码编码的多层码(MLC)系统的译码方案，综合多阶译码(MSD)和联合迭代译码(JID)算法，提出串行迭代的译码算法(SID)。仿真表明，SID比经典的MSD和JID译码算法的性能更优。SID和JID相比，SID的算法复杂度略小，但是译码时延要大些。同时，为了降低MLC系统的编码复杂度，提出采用稀疏序列的相关函数构造的准循环正则LDPC码作为其分量码。接下来，对多元域LDPC码在OFDM系统中的应用进行了研究。提出将多元域LDPC码用于MPSK调制的OFDM系统。仿真结果表明，在多径衰落信道下，多元域LDPC编码的高阶调制OFDM系统比等效码长的二元域LDPC编码OFDM系统具有更好的性能，并且由于采用了多元域LDPC的快速BP译码，译码复杂度只是稍有增加。