随高清视频业务、大规模数据存储业务、云计算、移动互联网的飞速发展，这些宽带应用将会推动网络流量的持续增加。为了支持未来的网络流量的增长，提高骨干网的容量势在必行。随着100G速率系统已经商业化，人们把研究的目标放到了超100G速率的光传输系统。由于偏振复用技术应用到高速光传输系统中，对系统色度色散、偏振模色散、激光器线宽等损伤的容忍度急剧下降，在光域中进行解偏振复用和信道损伤均衡越来越困难。随着硅基技术的提高，获得采样速率与光传输速率相匹配的模数转换器（ADC,Analog to Digital Converter）成为可能。采用相干光检测技术不仅能够提高接收机灵敏度，还能够利用数字信号处理技术克服光信道中的损伤，例如色度色散和偏振模色散。与光域均衡技术相比，电域均衡技术具有均衡性能好，结构简单，响应速度快，通用性强，集成度高等优点。本文研究了偏振复用的16QAM相干光传输系统。对信号和信道模型进行了分析，利用Simulink软件搭建了224Gb/s速率的偏振复用16QAM光传输仿真平台，用以产生进行数字信号处理（DSP, Digital Signal Processing）的数据。该传输平台可对色度色散、偏振模色散、激光器线宽、ASE噪声等效应进行仿真；利用Matlab搭建了DSP算法仿真平台。由于采用偏振复用技术，在蝶形滤波器进行解偏振复用和偏振模色散（PMD,Polarization Mode Dispersion）均衡过程中会遇到奇异点问题。奇异点问题是指当X、Y两路偏振信号独立采用常模算法（CMA, Constant Modulus Algorithm）收敛时，由于CMA算法对相位变化不敏感引起X、Y两路信号收敛到同一偏振态信号源从而造成其中一路信号丢失的现象。目前常用的解决奇异点的方法是CMA系数重置法。本文提出一种新的避免自适应算法收敛到奇异点的解决方法。通过引入对相位敏感的多模算法（MMA, Multi-modulusAlgorithm），在不增加系统复杂度的情况下，奇异点问题发生的概率为CMA算法的约30%，并仿照CMA系数重置法提出了MMA系数重置法，使平均收敛速度大大提高。在此基础上，本文对CMA、MMA、判决引导的最小均方差（DD-LMS, Decision-directed Least Mean Squares）三种算法的偏振模色散均衡性能进行了深入研究，考察了在不同色度色散、偏振模色散条件下自适应均衡算法的性能指标。最后本文研究了M次方和盲相位搜索两种载波相位恢复算法，并提出了一种优化的前馈载波相位恢复算法用于相干光接收机。通过引入多级结构的载波恢复算法，使得对16QAM信号其算法复杂度降低了约3倍。