近年来高速模数转换器(ADC)技术、集成光器件以及数字信号处理(DSP)技术的进步,推动了光通信领域基于相干检测的相干光通信技术的快速发展。激光器相位噪声是限制高速大容量数字相干光通信系统性能的一个主要因素,通常采用载波相位恢复算法来消除激光器相位噪声的影响,但当前提出的载波相位恢复技术普遍存在算法复杂,且不能消除相位跳变(Cycle Slip)的缺点。本论文对相干光传输系统中的数字信号处理算法进行了研究,重点为载波相位恢复和相位跳变消除技术,以及结合低密度奇偶校验(LDPC)译码的性能研究。论文的主要研究内容与创新工作如下:针对当前光传输领域QPSK、16QAM调制格式的盲载波相位恢复算法(如BPS,QPSK-Partitioning)复杂度高、不能消除相位跳变的问题,研究了联合偏振的载波相位恢复技术,并提出一种新型基于导频符号的相位解卷绕算法,简称为PAPU。该算法利用导频符号估计的载波相位作为相位参考,结合常规的相位解卷绕,进行无相位跳变的相位估计,消除了传统的差分编解码方案带给FEC的差分代价。首先建立了10Gbaud双偏振16-QAM仿真平台,在1.56%开销和6MHz线宽的情况下,实现了2E-2误码率附近15dB的软判决信噪比容限;其次建立了 30 Gbaud QPSK系统仿真平台,在4 MHz线宽和1 dB信噪比代价情况下,仅使用0.39%开销,获得无相位跳变的载波相位恢复。最后进行了单偏振28Gbaud QPSK系统背靠背离线测试实验,使用1.56%开销,在2MHz线宽的情况下,实现了 1E-3误码率附近13dB的光信噪比容限,比差分编码方案低0.5dB。通过载波相位估计(CPE)与FEC结合研究,提出一种增强的导频符号辅助的载波相位恢复及相位跳变消除算法。比较了基于级联码的软差分译码、Turbo差分译码、传统的基于导频符号的载波相位恢复(PA-CPE)和增强的PA-CPE四种方案。通过仿真超过109比特数据,发现Turbo差分译码通过使用级联码之后,消除了误码平层,但是相对增强的PA-CPE方案仍然有0.2dB代价。传统的PA-CPE方案即使使用级联码仍然存在误码平层,增强的PA-CPE方案仅仅使用0.78%的导频符号开销获得了 2.2dB性能增益,得到了纠后无误码的性能,距离理论极限只差0.4dB。提出一种基于K-Means聚类算法的盲相位跳变检测算法,该算法的主要思想是通过对跳变的相位进行分类来定位跳变发生的位置,另外结合导频符号进行跳变补偿。在200KHz线宽相位噪声信道下,使用20%开销64800码长DVB-S2外码作为LDPC纠错码,通过仿真验证了在各种CPE窗口长度下都可以有效改善纠前BER性能,降低经过CPE后的相位跳变概率。在译码后的BER曲线测试中,使用16个码字深度的矩形交织器成功消除了残余相位跳变的引起的误码平层问题,距离理想AWGN情况下的软判决纠后性能仅有约0.7dB的差异。