随着互联网应用的发展,网络容量的需求也在迅速增长,发展高速大容量的光纤通信系统迫在眉睫。但是高传输速率、大信道容量和长距离传输的研究却受到两种因素的限制:线性损伤,包括光纤损耗、色散、偏振模色散;非线性损伤,包括自相位调制、交叉相位调制、四波混频等。在长距离传输系统中,光纤非线性是限制信道容量和传输距离的重要因素之一,因此光纤非线性均衡技术在光纤传输中具有重要的现实意义。为了补偿光纤非线性效应,实现高速大容量光纤通信,有必要在数字相干接收机中引入非线性补偿（NLC）数字信号处理（DSP）算法。近年来,一些NLC算法需要过多的信号处理资源和传输系统的准确参数信息,在降低复杂度方面很难取得突破。因此,高效率、低复杂度的DSP算法是提升光纤通信系统传输速率、信道容量、传输距离的关键。这引发人们对机器学习在光纤通信中的应用的极大关注。机器学习算法通过从接收到的数据符号自身学习来均衡非线性,不需要提前知道具体的光纤传输链路参数等情况,且大大降低了算法复杂度。由于机器学习算法不涉及光纤链路的细节,因此可以普遍应用于所有光纤通信链路,包括短距离、长距离、海底等。本文主要研究基于机器学习的光纤非线性均衡技术。首先研究了改进的神经网络（NN）的非线性均衡性能,将迁移学习（TL）应用在单通道、多通道系统中,使神经网络均衡器大大降低训练开销及成本。之后针对概率整形（PS）系统对非线性的敏感性,提出了利用神经网络、迁移学习在概率整形系统中对非线性效应的均衡,并证明该方案补偿了收发器和光纤传输非线性的综合影响。最后,我们提出并实验验证了一个简化的TL-NN-NLC模型,该模型采用贡献较大的信道内干扰项作为输入。神经网络的输入是有贡献的符号和非线性积项,非线性积利用非线性扰动系数和设置好的窗口大小来选择。同时,我们结合迁移学习算法将训练好的神经网络参数应用到不同发射功率的测试数据集上,加速重构。