互联网应用的广泛普及和各种宽带业务的不断涌现使宽带业务量和通信网络容量持续快速增长,给作为信息高速公路基础设施的光纤传输网带来了巨大的承载压力,迫切需要掌握更高速率、更长距离的新型光纤传输技术。单波长信道超100Gbps相干光传输是未来超高速大容量长距离骨干传输网的关键支撑技术。随着信道速率和频谱效率的提升,超100Gbps系统对各种损伤更加敏感,电域DSP算法面临着计算复杂度高、多损伤相互制约、芯片处理速度要求高等关键难题。本文对PM-CO-OFDM系统符号、采样时钟和载波频率联合同步方案,并行DSP处理机制,低复杂度非线性补偿算法及Nyquist WDM系统低复杂度强滤波损伤及非线性补偿算法进行了深入研究,并取得了创新性研究成果。本文主要创新点和研究工作如下：1、CO-OFDM系统需要保证子载波相互正交,因此高精度的同步算法不可或缺。现有方法多针对特定的同步损伤估计与补偿,未考虑多种同步损伤之间的相互影响,实际应用中将严重影响系统性能。针对以上难题,提出了一种符号、采样时钟和载波频率联合同步方案。该方案首先利用信道均衡算法补偿采样时钟定时偏差和符号同步偏差,然后根据采样时钟频率偏差和残余载波频率偏差与子载波、相对符号位置成线性关系的性质估计此部分偏差,最后将估计结果反馈到时域进行补偿。480Gbps PM-16QAM CO-OFDM系统仿真结果表明,所提联合同步方案能够实现符号、采样时钟及载波频率同步,采样时钟频率同步范围达到+2000ppm,载波频率同步范围达到±3.5GHz,与理想情况相比不存在OSNR代价。2、分析了色散补偿、符号同步、载波频率同步、采样时钟同步、信道均衡、相位恢复等核心CO-OFDM DSP算法工作机理,权衡了芯片所需资源／面积与处理速度之间的矛盾,提出了一种利用色散均衡与子载波倍数关系确定最优并行路数的CO-OFDM相干接收DSP算法并行处理机制。该机制首先利用各并行支路误差函数不变及已知并行位置信息的性质,解决了插值滤波器控制参量前后相关联的计算方法不能适用于并行处理模式的问题；然后使用双训练符号的双相关峰值判决机制,解决了单纯串并变化破坏传统符号同步算法相关峰值的问题。仿真结果表明,480Gbps PM-16QAM CO-OFDM光纤传输系统DSP算法芯片时钟频率较串行处理可降低3个数量级。3、反向传播方法色散和非线性独立分段补偿,只有增大分段数才可能忽视色散与非线性之间的关联,近似反映真实光纤传输过程,导致复杂度过高,难以硬件实现。针对以上难题,提出了一种采用功率串扰作为补偿权重的CO-OFDM系统非线性损伤补偿方法以降低计算复杂度。该算法首先通过基于训练序列的信道估计方法得到色散总量,然后通过分析色散在CO-OFDM系统中造成的ISI/ICI,进而得到不同样值之间的功率串扰权重,并引入传统反向传播方法进行非线性补偿。算法非线性补偿过程中由于引入了反映色散与非线性相关性的权重,减小了分段数,进而降低了复杂度。480Gbps PM-16QAM CO-OFDM系统仿真结果表明,该算法与传统反向传播方法达到相当性能,计算复杂度可降低接近30%。4、为了解决Nyquist WDM系统强滤波及光纤非线性损伤补偿算法性能与计算复杂度之间的矛盾,提出了一种基于内积运算的MAP算法以降低强滤波及光纤非线性补偿算法的计算复杂度。该算法在MAP软判决算法基础上,利用内积运算代替原算法中的计算最小欧式距离的过程,省去了对接收信号功率和训练序列功率的计算,降低了算法复杂度。1.2Tbps PM-QPSK Nyquist WDM系统仿真结果及1.024Tbps PM-QPSK Nyquist WDM系统离线实验结果表明,该算法与传统MAP算法达到相当性能,计算复杂度可降低50%。此外,参与完成了1.2Tbps PM-QPSK Nyquist WDM实时长距离传输系统实验。