高速的光通信中，数据业务的爆炸式增长带来巨大带宽压力。具有高灵敏度的相干光检测成为了必然的选择。在系统容量增大的同时，功率的增高对信号的可靠性带来挑战。低密度奇偶校验（Low Density Parity Check，LDPC）码，编码调制方案，Turbo均衡成为了下一代前向纠错（Forward Error Correction，FEC）的关键技术。经过分析发现，M进制正交幅度调制(Multilevel Quadrature AmplitudeModulation，M-QAM)中的8-QAM是一种优秀的调制方式，并成为了下一代光通信中的热门方案。因此本文重点研究基于8-QAM调制方式的编码调制方案，及其和LDPC码联合后的仿真分析。　　 本文主要完成了以下工作:　　 首先系统地分析了LDPC码的编译码理论基础，以及错误平层成因，尤其是对基于有限域的准循环LDPC(Quasi-cyclic LDPC，QC-LDPC)码进行了构造及分析，然后对编码调制技术中的集分割方法及分组编码调制(Block Coded Modulation，BCM)的编译码方案及Turbo均衡技术进行了详细的分析及验证。　　 在此基础上，本文对8-QAM的星座映射及调制解调方式进行了深入研究，针对其星座图的特点，提出一种新的映射方式，并根据此映射采用分组分割和自然分割的混合集分割方式，增大了星座点的欧式距离。随后将提出的8-QAM集分割用于编码调制。编码时，不同位置比特采用不对等保护(Unequal protection，UEP);在译码时，采用多级译码(Multistage Decoding，MSD)和并行译码(Parallel DecodingOn Levels,PDL)混合译码。随后本文将从复杂度及性能两个方面对所提出方案与传统方案进行比较分析。　　 在计算复杂度方面，主要从运算次数的角度进行比较。分析表明所提出方案的复杂度大大降低。按比例来说，其计算复杂度为传统方案的2/3。　　 为了验证该方案的广泛适用性，利用两组不同码长不同构造方式且码率相差度不一样的QC-LDPC码和所提出方案结合并对其进行仿真分析，并将结果和具有相同码率的传统的方案进行比较分析。仿真结果表明:在两个实验中，在误比特率(Bit Error Ratio,BER)为10-7时，所提出方案较与之拥有相同码率的传统方案相比，分别多带来了0.2dB和0.42dB的净编码增益(Net Coding Gain，NCG)。并且码率相差越大，提出方案带来的优势更明显。不仅如此，提出方案的性能甚至优于码率更低的传统方案。将本文中的LDPC编码调制系统的理论曲线和BPSK调制采用RS(255，239)编码的方案做比较。在频率效率高3倍的情况下，仍能带来编码增益。　　 综上所述，本文所提出的方案在较低的计算复杂度情况下，在新的映射及分割方式的基础上，配合相应的编译码方式带来了更多的净编码增益。同时与编译码简单，错误平层较低的QC-LDPC码结合后，整个方案在频谱效率，NCG及复杂度、错误平层方面均满足高速光通信系统的要求。