随着当代社会网络的不断发展,物联网、虚拟现实技术（Virtual Reality,VR）、云计算等先进技术的不断兴起,人们开始对通信的传输速率、传输容量等方面有了越来越高的需求,这也促使了各类光纤通信相关技术的出现与发展。目前,光纤通信正在往大传输容量、高速率、更低时延的方向发展。由于相干光通信领域研究的不断深入,数字信号处理（Digital Signal Process,DSP）的硬件运算速度不断提高,在发送端采用多种调制编码格式、在接收端采用相干检测技术和DSP相结合的相干光通信系统已经发展为高速大容量光通信领域的关键技术之一。在高速大容量相干通信系统中,光纤信道内的非线性效应严重影响了信号的传输性能,被认为是目前限制光纤传输的主要原因之一。为了提升相干光通信系统的传输性能,研究如何补偿信道内的非线性损伤成为了国内外研究热点。本论文研究了数字信号处理模块中的非线性损伤补偿技术。在此基础上,重点研究了基于数字信号处理的非线性损伤补偿方案、基于数字信号预处理的非线性损伤补偿方案以及基于傅里叶变换的非线性损伤补偿方案,本论文的主要工作内容和创新点如下:（1）提出了一种基于带动量的自适应梯度下降算法的数字反向传播方案,该方案在梯度下降算法中引入自适应步长、动量参量,在不降低搜索精度的前提下提高搜索算法的迭代速度。针对单载波64QAM相干光通信系统,仿真验证该方案的可行性,研究结果表明,该方案与传统的梯度下降算法相比,在收敛速度方面获得明显的收益,整个DSP的运算量降低。（2）提出了一种基于发送端自适应数字反向传播算法的非线性补偿方案,该方案在数字信号预处理模块中引入自适应非线性预补偿模块,该方案在优化通信系统性能的同时提高了算法的灵活性。针对单载波16QAM相干光通信系统,仿真验证该方案的可行性,并对该方案进行性能仿真研究。研究结果表明,该方案可以有效地对非线性损伤进行抑制,与色散预补偿算法相比,提高了通信系统的传输性能。（3）提出了一种基于自适应对数步长的非线性补偿方案,该方案采用带动量的自适应梯度下降算法对最佳补偿因子进行搜索获取,在优化通信系统性能的同时提高了算法的灵活性。针对QPSK相干光通信系统,仿真验证该方案的可行性,并对该方案进行性能仿真研究。研究结果表明,该方案可以有效地对非线性损伤进行抑制,且与传统的DBP算法进行仿真比较,其非线性损伤补偿效果更好,系统信号传输性能更优。