高频谱效率是未来移动通信系统的重要指标之一。重叠码分复用(OVCDM)是一种能够同时提高频谱效率和改善比特差错性能的新技术,重叠是这项技术的关键：符号的重叠可以提高频谱效率,而这种重叠本身形成了符号之间的约束关系能够提供巨大的性能增益。传统级联码虽然可以通过短码成功构造性能优异的长码,但是性能是以总码率的下降为代价的,而OVCDM可以看作是一个码率大于1的编码,因此如果把短约束长度的OVCDM作为分量码进行级联,经过适当的匹配设计,则可以在带来极大的编码增益的同时,还能使总码率得到提高,从而提高系统的频谱效率,因此级联OVCDM是个非常有价值的研究课题。级联OVCDM系统中,通过符号交织器将非线性OVCDM编码与线性OVCDM编码进行级联,接收端在两个软入软出译码器之间进行迭代译码,每个译码器采用基于多元符号的的最大后验概率算法。级联结构的选择非常关键,研究了串行级联和乘积级联两种级联方式,二者的性能都是由两级编码矩阵和交织器共同决定的,除此之外,乘积级联中行码与列码的比例是一个非常重要的参数。基于符号级EXIT图是搜索最优级联结构的有效方法,在对级联OVCDM的理论性能研究的基础上,对获得的系统参数进行重新优化,重点集中在实用级联系统的设计和性能分析,从性能和复杂度等方面去进行系统设计和优化。级联OVCDM系统虽然具有较低的陡降门限,在低信噪比时性能非常好,但是存在较高的误码平台,从而导致最终高信噪比区间的性能差于LTE方案。通过错误直方图分析发现：OVCDM系统出现不可纠的小错误的概率较大,且小错分布在多帧中。针对这种情况,提出预编码的思想,在原级联OVCDM系统之前增加一级传统纠错码,仿真结果表明在AWGN信道下预编码方案确实可以大幅减少每帧中的不可纠的小错,有效改进系统的误码率及误帧率性能,从而最终超过LTE性能。对于多径衰落信道,预编码方案和信道交织相结合,在改善系统的误帧率方面有特别明显的效果。重点研究了采用BCH码和截短BCH码两种预编码方案时的系统设计和性能,并分别总结了两种方案的不同特点。为了便于工程实现,对级联OVCDM系统的输出星座点的量化问题进行了初步的探索。为了降低系统复杂度,提出了基于星座复用的级联OVCDM系统,此时第二级OVCDM矩阵简化为两行一列的复用矩阵,同时接收端相应的BCJR译码过程简化为符号级软解调,所以系统复杂度可以大幅度下降。对应分别研究了串行级联和乘积级联星座复用系统,对AWGN信道以及多径衰落信道下的性能进行了设计和分析,主要包括第一级OVCDM编码器结构和输出星座点的映射方式的选取,第二级最优复用矩阵的搜索。重点对频谱效率为4bit/s/Hz的系统进行了优化设计,最后的仿真结果表明,在复杂度降低为原来的1/64倍的情况下,系统性能相对于级联OVCDM系统在10-5量级基本相当,只是有明显的平台。但是平台现象我们同样可以采用预编码来有效消除,并对星座复用系统中的预编码的设计进行了研究以及实际的仿真比较。最后将预编码和星座复用相结合,成功设计和实现了低复杂度的更高谱效率的5.82bit/s/Hz级联OvCDM系统,此系统距离仙农界仅1.9dB。