由于相干光纤通信系统具有高灵敏度和高频谱利用率的重要优点,加上近年来器件制作工艺水平的提升,结合一些先进调制格式的相干光纤通信技术已经成为新一代高速光通信网络最具发展前景的技术之一。而在系统接收端的数字信号处理部分的研究与创新也成为该技术中的重中之重。本文将对单载波偏分复用(polarization division multiplexing,PDM)高速相干光纤通信系统的接收端的一系列数字信号处理(digital signal processing,DSP)算法,从理论、系统、仿真三方面入手进行研究和分析。首先,本课题利用Matlab和VPI虚拟光学仪器实验平台搭建多级相位调制(n-PSK)、多级正交幅度调制(n-QAM)的单载波偏振复用高速相干光纤通信系统平台。依托于此平台,主要针对数字信号处理模块中的偏振解复用、时钟恢复、光载波相位恢复等模块进行了一系列调研、分析和测试。在时钟恢复方面,主要实现了反馈式全数字时钟同步的方案,其中的定时误差检测模块采用了Gardner算法对定时误差进行估计,给出了算法收敛曲线,并对不同OSNR下此算法在通信系统中的表现进行了仿真。在偏振解复用方面,主要比较了常模算法(constant modulus algorithm,CMA)、多模算法(multi modulus algorithm,MMA)、级联多模算法(cascaded multi modulus algorithm,CMMA)算法在系统中的性能,给出了各个算法的优缺点以及适用范围。给出了参数变化时各个算法的收敛曲线变化并讨论了如何选取适当的参数使得算法在通信系统中的表现最优化。比较了16QAM调制格式下各个算法的BER曲线。在光载波相位恢复方面,分别讨论了适用于QPSK调制格式下的Viterbi-Viterbi算法、适用于16QAM等调制格式下的QPSK分圈算法以及适用于任意阶QAM调制格式下的盲相位搜索(blind phase searching,BPS)算法,并测试了这些算法在系统中的表现。给出了相位噪声对Viterbi-Viterbi算法和QPSK分圈算法的最优平均长度的影响。仿真了在16QAM调制格式下,BPS算法的恢复效果图。分别计算出了BPS算法和QPSK分圈算法在16QAM调制格式下的OSNR代价及线宽容忍度。