随着互联网和信息技术的发展,光纤通信系统需要满足人们对大容量高速率的信息需求,利用高阶相位调制和信道复用等技术可以提高光纤通信系统的容量和数据速率,但却带来系统误码的问题。而采用前向纠错码(FEC)可以提高系统可靠性,光纤通信系统中的FEC分为三代,第一代FEC主要为硬判决码字,代表为RS码；第二代FEC主要为级联码,代表为交织级联码；第三代FEC主要指软判决码,代表为低密度奇偶校验(LDPC)码,而将二进制LDPC码扩展到非二进制LDPC (NB-LDPC)码可以使码的性能得到近一步的提升。本文对光纤通信系统的三代FEC进行了仿真。利用循环码的编码原理和基于Berlekamp迭代的译码算法仿真了RS(255,239)等RS码。通过交织级联码性能分析验证其性能优于单独编码系统。利用结构化构造的奇偶校验矩阵并通过快速编码,译码使用了和积算法,仿真了LDPC(2400,1800)等LDPC码并验证了其性能。对于LDPC码,将二进制域扩展到非二进制域可以得到NB-LDPC码,本文通过结构化构造的NB-QC-LDPC码奇偶校验矩阵和非二进制域的编码,在译码中使用了传统和积算法结合FFT快速译码算法,通过仿真验证了NB-LDPC码的输出误码性能。对于接入网中的波分复用无源光网络(WDM-PON),当今用户的需求不仅仅局限于点对点数据的传输,还需要广播和组播等新业务,通过对各种WDM-PON新业务方案系统的整理,发现振幅键控/差分移相键控(ASK/DPSK)重调制的WDM-PON新业务方案具有系统复杂度低和成本可控等优点的。本文创新地提出了结合NB-LDPC码和ASK/DPSK重调制的WDM-PON新业务方案系统,该方案系统通过仿真验证可行并且性能有所提升。