当前互联网技术的发展态势愈加蓬勃,5G移动通信、人工智能云计算和物联网技术等新型技术的研究也正如火如荼地开展着。这些新技术的发展催生了无数的网络新业务,如网络直播、4K超高清电视、导航及自动驾驶等等,这对承担互联网主要流量的光纤骨干网是一个巨大的挑战。观此种种,光通信系统的未来发展毫无疑问是以大容量、高速率以及长距离为导向的。高阶调制格式是增加光通信速率的主要手段之一,但是它对相位变化敏感;除此之外,使用密集波分复用增大带宽也是一种方式,但它也有许多技术上的难关需要突破。长距离光通信最棘手的问题就是光纤克尔效应累积的非线性相位噪声,它会使信号发生畸变;而密集波分复用系统中的非线性效应严重,大大限制了信号的传输距离。所以补偿信号的非线性损伤是发展骨干光网络面临的一个难题。目前对抗非线性效应的主要方法是数字后向传播算法,其本质是通过对损伤信号进行虚拟的光纤反向传播,但极高的计算复杂度使得它难以用于实时的高速率光传输。人工智能算法在过去几年里飞速发展,被引入到光通信中解决各类问题。本文主要探讨人工智能算法在非线性噪声均衡上的应用;研究了改进的深度神经网络对非线性效应的均衡能力,提出了一种性能优异的单层函数链神经网络,函数链神经网络可以看成一个扁平化的深度神经网络,通过求广义逆的方式即可完成快速训练。该方法在均衡性能上优于改进的深度神经网络均衡器,并具有更加低的复杂度。针对波分复用系统中的非线性效应,提出了一种联合均衡的方式,该方式普遍适用于各类神经网络在波分复用系统中的均衡;并提出了使用迁移学习的方式对深度神经网络均衡器进行训练,使得均衡器在波分复用系统中的训练开销大大降低。基于联合均衡和迁移学习的神经网络非线性均衡有望在未来的应用当中成为一种可选的非线性效应对抗方案。