高速率高质量数据、视频等业务的不断发展,对电信骨干网络的传输带宽提出了更高的要求。从目前的单波长40Gb/s系统,向单波长100Gb/s甚至400Gb/s超大容量光纤传输网络的演进,已成为目前国际通信领域的未来主流发展方向之一。随着数字信号处理技术的成熟以及高速数字电路速率的不断提高,基于电域数字信号处理技术的偏振复用相干检测超高速光纤传输系统,一方面利用光偏振复用、多进制调制以及正交频分复用技术有效提高了频谱利用率；另一方面利用光相干检测替代传统的直接检测方式,保留了光信号的幅度和相位信息可在电域进行灵活动态的数字去损伤,因此获得了普遍关注并成为近年来光通信领域的研究热点之一。本文在国家863计划课题“100Gb/s相干光传输关键技术研究(2009AA012221)”资助下,对100Gb/s PM-QPSK相干光传输系统接收机时钟同步算法和单波长400Gb/s PM-CO-OFDM相干光传输系统接收机DSP算法展开了深入研究,主要内容如下：一.研究了PM-QPSK相干光传输系统结构和数学模型,重点研究了接收机DSP各组成模块的功能和算法。二.详细分析了100Gb/s PM-QPSK相干光传输系统接收机VCO时钟同步的原理和关键参数对同步性能的影响。针对同步环路色散容限较低这一缺点,提出了一种联合色散均衡的VCO时钟同步方案,并完成了其关键参数及各部分中间变量的二进制定点仿真,为环路的硬件设计提供参考。同时设计了联合色散均衡的VCO时钟同步并行处理实施方案以解决现有硬件处理速率不足够高的问题。所设计方案均通过系统仿真验证了可行性。三.理论分析了单波长400Gb/s光纤传输系统的实现可行性,设计了一种50GHz信道间隔上的400Gb/s PM-CO-OFDM系统方案。四.研究了400Gb/s PM-CO-OFDM相干光传输系统工作原理,重点研究了该系统接收机DSP部分各功能模块的工作原理和典型算法。分析了各算法间的相互制约机理,提出了一种RF-Aided相位估计的改进算法以同时完成光载波频偏补偿和相位噪声估计,以及一种利用信道估计训练符号估计光载波频偏补偿后残余频偏的方法以减小残余频偏对信道估计的影响。设计了接收机DSP部分的结构,最后仿真验证系统的传输性能和DSP算法的性能。