面向光纤通信系统超大容量、超高速率和超长距离的性能发展诉求,无论是中短距强度调制直接探测系统,还是长距数字相干传输系统都面临复杂传输损伤的均衡挑战。利用机器学习技术,探索实现光纤通信系统的高性能非线性均衡,对于补偿传输损伤、提升传输容量、支撑光纤通信系统的可持续发展具有重要意义。从机器学习辅助非线性均衡性能的可靠评估出发,针对发射端采用伪随机二进制序列（PRBS）和接收端使用人工神经网络（ANN）的非线性均衡器时产生的误码性能过拟合问题,论文理论解释了过拟合效应产生的数学机理与光纤传输演化过程,提出了梅森旋转伪随机序列（MTRS）和修剪的PRBS（P-PRBS）训练集等抑制过拟合效应的解决方案,为后续非线性均衡性能的可靠评估奠定基础。为了实现高性能、低计算复杂度的非线性均衡器,论文进一步考虑机器学习直接均衡和机器学习辅助优化传统均衡两条技术路线,对机器学习直接均衡方案开展了性能优化和效率对比研究,然后针对强度调制直接探测系统的沃尔特拉级数滤波均衡器（VFE）和数字相干传输系统的微扰非线性补偿（PNC）方案进行了计算复杂度优化。论文的主要创新性研究成果包括:（1）针对PRBS序列与ANN非线性均衡器的过拟合效应,证明了ANN可以通过增强特定位置处的输入神经元权重,学习到PRBS符号生成和映射规则,光纤传输实验发现色散和光纤非线性引起的脉冲展宽将进一步恶化过拟合效应,造成系统误码性能的误判。所提出的P-PRBS数据集可以缓解过拟合效应,而MTRS数据集可以完全避免过拟合效应,因此推荐使用MTRS评估ANN非线性均衡器的性能。（2）针对强度调制直接探测系统非线性均衡器的性能与计算复杂度协同优化难题,验证了ANN直接均衡方案的性能与以乘法器数量表征的计算复杂度呈近似线性关系,相同误码门限下ANN直接均衡器的计算复杂度约为VFE的3倍。在此基础上提出加权主成分分析优化VFE方案,分别在色散受限链路和色散管理链路中节省40%和60%的VFE抽头数目,提高了VFE的均衡效率。（3）针对数字相干传输系统中非线性均衡器的性能与计算复杂度协同优化难题,发现ANN直接均衡方案会导致星座图蜕化为方格形,从而造成信噪比性能误判,改进ANN的输出为非线性残差可避免误判。为了优化PNC方案的均衡效率,采用硬判决简化算子生成的方案,可以降低均衡器对乘法器的位数要求;采用双曲型筛选方案优化算子和递归最小二乘算法训练权值,可以避免使用信道参数。进一步结合机器学习方案,在单波传输信道中,使用主成分分析方案可以节省约40%的PNC算子数量;在波分复用场景中,使用迁移学习方案可以提升0.2 d B中心信道的PNC非线性均衡增益。