XPM效应起源于光纤中的克尔非线性效应,即在WDM系统中,一个信道内传输光波的光强的变化会通过交叉相位调制对其他信道的光波进行相位调制,同时GVD将此相位调制转化为幅度调制。XPM效应引起的信号相位噪声以及幅度噪声,将会给相干光调制系统带来极大损伤,且该损伤会随着WDM系统中信道间隔的不断减小以及入纤功率的增加而逐渐加强。在过去的XPM研究,主要考虑的是XPM效应对单载波调制系统性能的影响,并对其产生的机理以及补偿方法进行了深入的探讨和研究。但是,XPM效应对多载波调制系统的影响,尤其是CO-OFDM系统的分析和深入研究屈指可数。CO-OFDM系统具有较高的PAPR且对正交性要求严格,势必对XPM引起的相位噪声非常敏感。因此XPM串扰是CO-OFDM系统中不可忽略的损伤,本论文将研究波分复用的OFDM系统中的XPM效应。首先,本论文介绍CO-OFDM系统中非线性损伤机理,包括SPM、XPM、FWM等。然后通过求解频域的非线性薛定谔方程,建立了基于Volterra级数的信道间XPM数学模型。采用Volterra级数对XPM进行分析,可以同时计算光纤中的色散和XPM损伤,不需要再分开建立GVD存在情况下信号幅度噪声与相位噪声之间的转化关系式。其次,我们将此XPM数学模型拓展到色散管理系统中,并在此基础上建立了可以用来预测XPM效应的基于Volterra级数的传输滤波器模型。然后,我们将此滤波器模型应用于OFDM/OOK混合系统中,并且预测出了OOK信道产生的XPM串扰对OFDM系统性能的影响。最后,考虑到XPM引起的相位噪声严重影响CO-OFDM系统性能,我们提出使用CO-OFDM+DSB调制方式,来降低XPM相位噪声对CO-OFDM系统性能的影响。随着DSB调制频率的增加,XPM引起的相位噪声逐渐减小甚至可以忽略不计。然后,我们使用了OFDM WDM系统对其进行仿真验证。