IP数据流的快速增长推动了单信道速率从10Gbit/s向40Gbit/s甚至更高速率的转变,速率的提高使符号的持续时间相应减小,从而导致高速传输系统对光纤色度色散、偏振模色散和非线性效应等的容忍度急剧下降,对光信噪比(OSNR)也提出了更高的要求,此外信号的窄脉冲传输使得信道内非线性成为影响高速传输系统性能的主要因素,因此需要采取措施以解决高速传输系统所面临的挑战,其中最为有效的方法之一是采用新型调制格式,如OFDM、DQPSK和QPSK等。采用新型调制格式显著提高了高速传输系统的性能,但在用其抑制某些问题的同时,其还将存在或引入其他一系列问题。采用OFDM可以有效抑制色度色散和偏振模色散的影响,但光OFDM系统中窄的频谱间隔和高的峰均功率比会导致极大的非线性效应,另外采用相干接收的OFDM系统还将受到I/Q (inphase/quadrature phase)不平衡的影响；DQPSK对色度色散和偏振模色散有较高的容忍性,且能有效抑制非线性效应,但其对高速传输系统中的主要非线性效应—信道内非线性的抑制效果有限；采用相干接收的QPSK系统具有高的接收灵敏度,但其受接收端I/Q不平衡的影响比较大。本文针对高速传输系统中的新型调制格式存在的问题与关键技术进行研究,并取得了以下创新性的研究成果：1)对光OFDM系统中非线性损伤的补偿问题进行研究,针对光相位共轭(OPC)在采用集总放大的链路中补偿非线性效率有限的问题,提出了一种优化OPC配置,并将其用于补偿光OFDM系统中的非线性。该优化配置通过增加合适长度的光纤和EDFA,对OPC在链路中的位置进行优化,使OPC前后的功率包络关于零累积色散点对称,从而提高了OPC补偿非线性的效率。本文在40Gb/s OFDM系统中对提出的优化OPC配置进行了仿真,仿真结果显示,普通OPC部分补偿了非线性的影响,而优化OPC配置显著抑制了非线性效应,从而极大地提高了OFDM系统的性能。与采用普通OPC的系统相比,采用优化OPC配置的系统在最大Q因子、非线性门限值和传输距离上分别提高了1.6dB、2dB和1倍。2)对高速传输的DQPSK系统中信道内非线性的补偿问题进行研究,提出了一种基于正交偏振的DQPSK系统中的信道内非线性补偿方法。该方法通过采用偏振调制器将DQPSK信号中的相邻符号调制到正交的偏振态上,从而降低了相邻符号间的相互影响,有效抑制了信道内非线性。本文对采用正交偏振的40Gb/s DQPSK系统进行了仿真,并将其与普通DQPSK系统进行了比较。仿真结果显示,普通DQPSK系统受到信道内非线性的影响,而在正交偏振的作用下,信道内非线性得到有效抑制,使得系统性能显著提高,最大Q因子和非线性门限值分别提高了约2dB和4dB。3)对采用相干接收的QPSK和OFDM系统中接收端的I/Q不平衡进行研究,提出了一种基于接收信号统计特性的I/Q不平衡补偿方法。该方法通过计算接收信号中I路和Q路信号的均值、方差及它们之间的相关系数,估计出系统的I/Q不平衡参数,并对其进行补偿。本文分别在采用相干接收的40Gb/s QPSK和OFDM系统中对该方法进行了仿真,仿真结果显示,该方法有效抑制了I/Q不平衡对系统的影响,显著提高了系统性能。在该补偿方法的作用下,系统的Q因子达到了I/Q平衡时的Q因子值。