随着云计算、大数据、人工智能等技术的发展以及互联网商务、网络直播、超清视频等多元化业务的出现,目前网络流量正处于持续爆炸式的增长中,发展超大容量、超高速率和超长距离的光纤通信系统已成为当前通信领域的迫切需求。相干光通信系统具有接收灵敏度高、容量大、可采用多种高阶调制格式等优势,并且与数字信号处理技术相结合,可以在电域对信号传输中的色散等线性损伤进行均衡,极大地提高了系统性能。然而光纤传输系统的性能仍然受制于克尔效应,光纤中非线性效应是限制系统容量的最终因素。尤其在高阶调制格式下,欧式距离变小,需要更大的入纤功率来增加信噪比,信号所受的非线性畸变会更加严重。综上,非线性均衡在实现高速大容量光纤传输系统的研究中具有十分重要的意义。机器学习被视为解决光通信领域复杂问题的新方向,其强大的学习能力可以实现很好的非线性补偿效果。同时,其良好的自适应和调整能力,可以实现灵活的实时补偿,尤其适用于动态可重构的光网络,这是机器学习相较于传统基于先验信息的补偿算法最突出的优势。因此,本文以机器学习算法为工具进行光纤中非线性均衡算法的研究。本文的主要研究工作如下:1.基于粗糙集K最近邻非线性均衡算法的研究。本论文研究了基于传统K最近邻非线性均衡算法存在的问题,提出了基于粗糙集K最近邻的非线性均衡算法。该算法引入粗糙集中上近似空间和下近似空间的概念,刻画训练集中星座点的分布。通过将整体空间进行划分可以直接对大部分星座点进行分类,同时缩减其它待分类星座点的计算范围。搭建了速率为28 GBaud的DP-16QAM和DP-32QAM相干光通信系统进行验证,仿真结果表明该算法具有与传统K最近邻算法同样的均衡效果,并且运算量仅为原来的0.4%至11.7%左右,在不影响分类准确率的情况下,实现了运算复杂度的显著降低。2.基于循环神经网络非线性均衡算法的研究。提出了基于循环神经网络的非线性均衡算法,该算法利用了循环神经网络处理序列数据和拥有记忆功能的特性,充分考虑了在传输中相邻符号间的影响。通过将受非线性畸变的信号和已知的原始发送信号同时输入到网络中进行学习,可以提取非线性损伤特征,找出输入输出间的复杂映射关系,从而建立非线性均衡模型对其它畸变的信号进行补偿。在224 Gbps DP-16QAM相干光通信系统仿真验证中,该算法能有效均衡光纤中的非线性,当达到7%前向纠错门限时,相比于传统人工神经网络均衡算法,传输距离增加320km。此外,该模型具有更快的收敛性能,能更快地适应系统的变化,在实际系统中具有重要意义。综上所述,本论文深入地研究了基于机器学习的非线性补偿算法,提出了改进的K最近邻非线性均衡算法和基于循环神经网络的非线性均衡算法。这些算法有效地补偿了光纤中非线性相位噪声,实现了系统性能的提升和运算复杂度的降低。本论文的研究成果对于相干光通信系统中非线性的均衡具有重要意义。