随着网络用户数目爆炸式的增长,通信容量需求的将呈现迅猛的增长趋势,大容量光通信系统是未来发展的趋势。灵活高效率的系统损伤估计方案可以及时反映网络的故障和性能,以保证光通信系统的安全性和稳定性。同时,高性能、低成本的损伤估计补偿算法可以提高通信系统的传输性能、降低通信系统数字信号处理器资源消耗和功耗。因此,本论文主要从智能系统损伤估计和链路损伤补偿等方面出发进行研究,主要的研究工作和成果如下:针对光纤通信系统光信噪比（Optical signal-to-noise ratio,OSNR）噪声,在大容量多芯光纤空分复用系统中,提出了一种基于迁移学习的多输入多输出多任务卷积神经网络,以实现空分复用光纤传输系统的OSNR估计。从性能和复杂度方面,对传统卷积神经网络和提出的方案进行对比。结果表明,提出的多输入多输出多任务卷积神经网络具有更高的OSNR估计效率。实验结果表明,OSNR的均方根误差小于0.6 d B,通过迁移学习分别减少了48%训练样本和50%训练周期。针对光纤通信系统非线性噪声,提出了一种基于异步复数直方图的多任务人工神经网络,实现调制格式识别、OSNR和光纤非线性噪声功率估计。相较于基于幅度直方图的方案性能,基于异步复数直方图方案的OSNR平均均方根误差可以达到0.37 d B,具有更优的估计性能。在非线性噪声估计性能方面,平均均方根误差可以达到0.25 d B。结果表明,该估计方案在非线性噪声估计方面具有优越性,兼容更高阶的调制格式信号,并且该方案可以同时监控更多的光网络参数。针对光纤通信系统载波干扰噪声,在通过带宽压缩技术降低数据传输带宽的高频谱效率频分复用（Spectrum efficiency frequency division multiplexing,SEFDM）系统中,提出了一种简化的Tomlinson-Harashima预编码（Tomlinson-Harashima Precoding,THP）算法,该算法可以减少用户端算法的复杂度。我们实现了基于预编码方案的强度调制-直接检测40 km 16正交振幅调制（Quadrature amplitude modulation,QAM）SEFDM光系统传输。结果表明,在保证系统更高频谱效率的前提下,该预编码方案可以获得良好的传输性能。压缩率为0.8时,相比于基于迭代的固定球面检测算法,提出的THP算法复杂度降低了一个数量级,同时数据的传输性能得到了提升。针对光纤通信系统相位噪声,我们分析了高性能高阶的星形QAM对抗相位噪声的能力和对激光器线宽的容忍度。首先在低信噪比的情况下,盲相位估计算法会导致系统性能恶化。在这部分,对星形16QAM进行详细的阐述和解释,并发现了盲相位估计算法中相位跳变导致性能恶化的问题。在低信噪比和相位噪声概率模型分析的基础上,通过单差分和双差分编码方案可以缓解盲相位估计中相位跳变造成的误码问题。在大容量高性能高阶星形QAM光系统中,详细比较了基于单差分的盲相位估计和基于双差分的盲相位估计方案的性能,包括时变相位处理能力、传输性能和激光线宽容限等,并建立系统实验,对提出的相位估计方案的性能进行了验证。