光纤通信系统正在向宽带、大容量的方向发展。密集波分复用技术作为目前干线光纤通信应用的最广泛的方式，也得到了长足的发展。入纤功率的增加和信道间隔的减小都导致了以前通常被忽略的非线性效应凸现出来，并成为光纤通信容量进一步增长的限制。本文主要研究密集波分复用系统中的一种重要的非线性效应——交叉相位调制对系统性能的影响及减小其影响的方法，并研究基于光纤中交叉相位调制的波长转换器。本文首先介绍了光纤通信系统的仿真算法――分步傅立叶方法及其改进形式，并介绍了本文中主要使用的仿真平台：VPI公司的VPITransmissionmaker（原名PTDS，Photonic Transmission Design Suite）。在第二章研究了单信道40Gbps光纤通信系统的优化设计方案及色散补偿方案对系统性能的影响。交叉相位调制是高速多信道光纤通信系统中考虑的一种主要的非线性效应。它与色散共同作用，会导致接收端光脉冲的变形（强度起伏）、光脉冲的时间抖动以及信道的频谱扩展，这些后果都会限制系统的性能。第三章针对交叉相位调制效应进行了研究。首先讨论了在不同色散管理方案下平均场方法的应用，该方法在不降低仿真精度的情况下大大缩减了所需运算量。其次从理论上推导了在色散管理系统中由于交叉相位调制与色散互作用引起的脉冲强度起伏的滤波器模型，根据此模型得到了系统的优化色散补偿方案。通过仿真也研究了波分复用系统中由于交叉相位调制效应引起的幅度抖动从而导致系统性能的恶化；交叉相位调制引起的时间抖动对系统性能也有较大影响，利用拉格朗日变分方法和统计分析的方法，第三章讨论了强色散管理归零码系统中交叉相位调制引起的时间抖动。尽管交叉相位调制对系统性能有较大影响，由于其非线性效应的瞬态响应特性，在高速率全光信号处理方面它却有其独特的用处。本文第四章研究了基于色散位移光纤中交叉相位调制效应的波长转换器，得到了这种波长转换器的一些关键参数及这些参数对波长转换器性能的影响。