随着光通信技术的飞速发展，单信道速率达到或超过40Gbit/s、最大传输距离超过1，000km、总容量超过1Tbit/s的密集波分复用(DWDM)系统已成为可能，特别是近几年高速光电子器件的成熟，40Gbit/s已具备了商用化能力。然而信号速率的提升，光纤信道带来的传输损伤也愈加明显。这里我们讨论的传输损伤主要来源于光信噪比(OSNR)的劣化、色度色散、偏振模色散和非线性效应。为了消除这些效应对信号传输的影响，除了对色散和非线性效应进行控制和管理之外，采用更优化的光调制格式也是改善系统性能的重要方法之一。　　 本文的研究目的，旨在通过分析比较各类调制格式在应对各种传输损伤方面的表现，掌握各自具体的传输性能指标，这些系统参数既可用于现有高速通信系统码型选择和性能优化的参考，也为调制格式的进一步发展表明方向。本文首先从光纤通信中各类传输损伤的产生机理入手，建立于40Gbit/s速率的信号传输基础上，由理论推导和分析各种调制码型对各方面系统性能的影响，随后选取了包括NRZ码、CSRZ码、ODB码、NRZ-DPSK码、RZ-DQPSK码在内的五种已具有商用化能力的调制格式，分别在OSNR灵敏度、色散容限范围、PMD容限范围和非线性容忍度方面，利用VPI仿真软件得出各自具体的传输性能指标，这也是本文所完成的最主要工作之一。同时本文针对40Gbit/s的NRZ-pDPSK码型进行了1280km LEAF光纤的传输实验，实验过程也是围绕上述四方面的传输性能指标加以验证。理论的推导加上实验的验证表明仿真分析得出的各种调制格式的性能参数是可信的。本文在此基础上结合各调制格式的成本考虑，给出了应用于40Gbit/s DWDM系统码型选择的参考意见，即对于1000km以上骨干网应选择DPSK或DQPSK等基于相位调制的码型，对于500km左右的城域网可选择双二进制码。本文对于高速光纤通信系统中信号调制格式的理解是，随着光电子器件技术的成熟，在应对传输损伤的影响方面，相对于采用控制和管理手段来说，优化调制格式应该是低成本且最有效的解决方案。