近年来，因特网应用的不断增长和宽带接入网的迅速普及，极大的促进了高速率光通信技术的发展。但由于各种信道损伤，在高速率情况下，光纤传输的性能明显下降。为了克服信道损伤带来的负面影响，人们需要在检测、编码及信号处理等方面研发更先进的技术。首先，本文研究了光通信中的相干检测技术，分析了相干光通信的接收机模型，分析了两种载波相位估计技术：M次幂光载波相位估计及辅助判决式最大似然(DAML)光载波相位估计，并对比分析了这两种相位估计技术的性能，得出在不考虑纠错编码时，DA-ML相干接收机由于克服了M次幂相干接收机中的非线性操作及相位模糊等问题，误码性能要略优于M次幂载波相位估计。另外，本文研究了光通信系统中的前向纠错（FEC）技术。论述了低密度奇偶校验纠错码(LDPC)在相干光通信系统中的应用，分析了能够满足相干光通信的高速率高效率要求的LDPC码的结构，并深入探讨了LDPC码的译码方式，为了实现LDPC译码器的软输入软输出译码，设计了一种基于软解调的软迭代译码方案，该方案在原有的软迭代译码的基础上实现了大约0.3dB的性能增益。最后，研究了相干光通信中LDPC码的性能，分析了相位噪声对LDPC码译码性能的影响，提出了将目前应用最为广泛的M次幂载波相位估计技术与基于软解调的软迭代译码技术相结合的方案，并仿真分析了这种方案及传统的译码方式下的M次幂和DA-ML算法的性能，得出新的结合方案不仅可以实现较准确载波相位估计，同时能有效的降低译码复杂度，实现高译码性能，从而达到优化接收机的目的，有很好的实用价值。