光纤通信作为信息产业的支柱,承担了全球通信网络绝大部分的信息输送任务。随着第五代移动通信技术的发展和更高阶调制格式在通信中的使用,光纤通信更是发挥了越来越大的作用。然而,日益增多的网络信息资源和通信应用设备对光纤通信系统的传输性能和频谱资源利用提出了更高的要求。影响光纤通信系统传输性能的主要因素有四个,分别为损耗、色散、噪声和非线性。损耗可通过在光纤链路中设置掺铒光纤放大器的方式进行补偿。色散可通过使用色散补偿光纤的方式消除其影响。噪声来源复杂,部分可通过信道编码或是信道均衡等手段进行抑制,部分无法补偿,使得信噪比成为衡量传输性能的重要因素。非线性是影响超高速光纤通信系统传输性能的主要因素。近年来,已出现了各种非线性补偿方法,但难以实现高效补偿,研究可行且高效的非线性补偿方法具有重要意义。本文对于光纤非线性特性与无线通信等线性信道有所不同的情况,分析了非线性薛定谔方程作为光波在光纤信道中传播的理论模型。引入数学方法Lax对分析该方程并求解相应的本征问题可得到在传输过程中保持不变的量,即信号的本征值。对Lax对中L算子的频谱分析就是非线性傅里叶变换。非线性傅里叶变换及其逆变换可视为线性傅里叶变换及其逆变换在非线性空间的推广,于是光纤非线性和色散在非线性信道中对信号的影响可在非线性频域表示为一个线性的相位旋转。在对其理论分析后,通过代码实现并验证变换对的正确性。利用非线性傅里叶变换对设计非线性频分复用传输方案较传统线性复用技术有明显优势。在发送端将需要传输的信息编码在非线性频谱的离散谱或连续谱上,然后通过非线性傅里叶逆变换将信号转换为时域信号加载至光纤上进行传输,最后在接收端用非线性傅里叶变换将时域信号转换到非线性频域,通过相位补偿即可消除色散和非线性影响。通过仿真实现了孤子传输、离散谱频分复用传输和连续谱频分复用传输三种方案,并验证了方案的有效性和可行性。为提升系统传输效率,以连续谱传输方案为基础研究偏振复用的非线性频分复用传输系统。对两个正交偏振态的光波在光纤中的传播进行信道分析,建立耦合的非线性薛定谔方程,将其归一化并编写非线性傅里叶变换及其逆变换算法,最后仿真实现偏振复用的非线性频分复用传输方案。在使用128个非线性子载波和64QAM调制格式时,仿真系统传输速率可达153.6Gb/s。最后对接收端的数字信号处理模块中的检测方法进行优化,在调用非线性傅里叶变换算法将接收时域信号转换到非线性频域之后,计算每个传输符号的星座点与对应编码的星座点之间的欧氏距离,并将接收频谱星座图旋转一定角度使得所有符号的对应欧氏距离总和最小。仿真结果证明欧氏距离检测方案优化传输系统可将Q~2提升4.4dB,并基于噪声影响对其鲁棒性进行分析。