近年来为了克服限制光纤通信系统传输能力的克尔非线性的限制,研究人员提出了一种革命性的方案——基于非线性傅里叶变换（Nonlinear Fourier Transform,NFT）的非线性频分复用（Nonlinear Frequency Division Multiplexing,NFDM）系统,该系统将非线性作为系统的固有属性,从理论上避免了非线性效应的影响。尽管科研人员对基于离散谱调制的NFDM系统进行了大量的验证性实验,但其仍面临很多挑战。其中一个挑战是寻找多个特征值调制的NFDM系统的最优接收机。NFDM系统的频谱效率（Spectral Efficiency,SE）随着特征值数量的增加而提升,解调复杂度也随之急剧上升,使得解调的精确度明显降低,这可能会导致接收机的非线性傅立叶变换算法在恢复特征值时,由于搜到假根或特征根个数不足等问题无法实现多个特征值的解调。此外,放大器自发辐射（Amplifier Spontaneous Emission,ASE）噪声、激光器引入的相位噪声（Phase Noise,PN）以及偏分复用（Polarization-division multiplexed,PDM）技术的应用 使解调变得更加 困难。本文提出了一种基于回归神经网络（Neural Network,NN）的接收机,它将接收到的时域波形作为输入,星座图坐标作为输出进行训练,避免了搜索特征值的过程。通过对神经网络内部结构的合理选择和优化,可以实现连续变量的预测,具有较高的抗损伤鲁棒性,更适合于实际的NFDM传输系统。主要研究工作如下:1.通过研究离散谱NFDM系统的基础理论,提出了一种基于回归神经网络模型的NN接收机,用于替代NFT算法实现多个特征值的解调。对系统中不可避免的ASE噪声及相位噪声进行建模,分析了存在损伤效应的情况下NN接收机训练数据的选择、具体结构的设计和超参数的设置。2.对NFDM系统中三种接收机的工作原理和复杂度进行了系统的分析,包括NFT接收机,NN接收机和最小欧氏距离（Minimum Euclidean Distance,MD）接收机,并根据相关理论搭建了离散谱NFDM相干光通信系统的仿真平台对三种接收机的性能进行验证。3.通过仿真验证了 NN接收机具有较强的鲁棒性,对通信系统的损伤具有一定的容忍度,可以实现在2 GBaud 16QAM调制格式、四个特征值调制的单偏振（Single Polarization,SP）NFDM系统中低比特误码率（Bit Error Rate,BER）传输1000公里。比较了三种接收机（NFT、MD和NN）在两个特征值调制的NFDM系统中的性能,NN接收机可实现更低的误码率和误差矢量幅度（Error Vector Amplitude,EVM）,预测速度远远小于其他接收机,综合性能最佳,且更适合于高阶调制格式。