对光传输频谱更深度地挖掘和更有效地利用是提升光通信系统传输容量的手段之一。对于波分复用（WDM）光传输系统，在调制阶数不变的情况下，更密集的信道复用意味着传输频谱利用率的提高，因此信道间隔小于码元速率、传输速率超过奈奎斯特速率的超奈奎斯特WDM系统被提出并成为一个研究热点。传统的WDM系统调制方式应用于超奈奎斯特WDM系统中，在信道间隔小于码元速率时会带来较严重的信道间干扰（ICI），于是双偏振正交双二进制（DP-QDB）调制被用于超奈奎斯特WDM系统中，其已调信号的窄频谱带宽优势可以降低系统ICI。对于DP-QDB接收信号的传输损伤和自身的码间干扰（ISI）问题，采用相干接收及信号处理（DSP）技术是可行的解决方法。在DP-QDB相干接收机中采用怎样的DSP方法，能够尽量修复传输损伤和消除ISI影响，是目前需要研究的方面。而且，为对抗传输损伤和降低误码率，例如低密度奇偶校验码（LDPC）的信道编码技术被引入到DP-QDB系统中，当接收端采用软输入软输出（SISO）译码时，前端的比特检测模块需提供比特软判决信息输出，则像基于维特比最大似然序列检测（VA-based MLSD）这样的软输入硬输出（SIHO）检测算法已无法满足要求，因而面临使用DP-QDB信号的SISO检测的问题。　　DP-QDB调制在双偏振正交相移键控（DP-QPSK）的IQ支路上添加了双二进制整形过程，该整形过程可理解为I类部分响应脉冲整形滤波过程，目前的研究只局限于将I类部分响应脉冲整形技术与DP-QPSK调制相结合，应用于超奈奎斯特WDM传输中。此外，超奈奎斯特WDM系统中调制方式的研究主要集中在四进制调制方式，而缺少更高阶调制方式的应用，限制了超奈奎斯特WDM系统频谱利用率的进一步提高。　　针对以上问题，本文围绕超奈奎斯特WDM系统的现有调制方式DP-QDB的相干接收DSP技术，以及适用于超奈奎斯特WDM系统的新型调制方式展开研究。　　DP-QDB相干接收机的前端DSP模块用于修复DP-QDB信号的传输损伤，文中给出了每个模块的具体DSP方法。在自适应均衡环节，分析了DP-QDB信号映射为DP-QPSK信号进行恒模算法（CMA）均衡的原因。在载波频偏估计环节，分析比较了DP-QDB信号载波频偏估计的两种不同实施方法。对DP-QDB信号运用了基于4次方和快速傅里叶变换（FFT）的载波频偏估计方法，并在此基础上结合线性调频Z 变换（CZT）进行估计方法的改进，当CZT点数为1024时可使估计误差下降1个数量级。　　面对需要提供比特软信息的应用场合，DP-QDB系统的比特检测模块有必要采用SISO检测方法。传统的最大值对数域最大后验概率（Max-Log-MAP）算法和软输出维特比算法（SOVA）被运用于DP-QDB信号的SISO检测中，同时又提出了一种新的适用于DP-QDB的SISO检测方法——比特软信息输出置信传播（BSO-BP）检测。将三种SISO检测方法置于无编码和码率为0.83的低密度奇偶校验码（LDPC）编码的32GBaud DP-QDB系统中，在30GHz信道间隔下进行了仿真对比分析。分析结果表明，虽然Max-Log-MAP检测在三者中能取得最好的检测效果，但BSO-BP检测和SOVA检测不像Max-Log-MAP检测需要进行初始状态归位过程。在LDPC编码DP-QDB系统中，当分块长度等于100时，采用BSO-BP检测的检测译码方案与采用SOVA检测的检测译码方案比较，在误比特率等于10-5下对光信噪比（OSNR）的要求降低2.61dB。　　更高阶调制方式的应用，可以进一步提高超奈奎斯特WDM系统的频谱利用率。本文结合I类部分响应脉冲整形技术和双偏振十六进制正交振幅调制（DP-16QAM），提出了一种新的适用于超奈奎斯特WDM系统的十六进制调制方式——双偏振正交双四进制（DP-QDQ）调制。文中具体介绍了DP-QDQ调制原理，理论推导了DP-QDQ信号频谱，仿真分析了DP-QDQ调制的性能及其在超奈奎斯特WDM传输中的应用表现。仿真结果表明，DP-QDQ可用于实现超奈奎斯特WDM传输，并且与奈奎斯特脉冲整形DP-16QAM相比，已调信号3dB频谱带宽缩小46％，在色散容限、对定时误差的敏感度方面也表现出优势。