随着物联网大数据及人工智能信息处理技术的快速发展,信息传输容量的需求与日俱增。相干检测技术提高了接收机灵敏度,可结合高阶调制与数字信号处理(DSP)技术,提高系统传输容量与距离。由于系统中各数据点相位噪声的随机性,如何利用低复杂度算法实现高效相位噪声补偿是未来相干光通信发展的关键。此外,相干光通信系统也有许多新技术引入进一步提升传输容量。如概率成型(PS)技术,可与相干光通信系统结合进一步提升传输容量至香农极限。在这种情况下,如何高效进行相位噪声补偿也是系统发展的关键之一。针对相干光通信系统中相位噪声对传输信号的影响,本文主要研究了相位噪声补偿算法,并将其应用于传输容量高的概率成型系统,具体内容如下:1.对两种经典的相位噪声补偿算法展开研究,多级相移键控(n-PSK)分割算法和盲相位搜索(BPS)算法。相对于Viterbi-Viterbi算法,n-PSK分割算法充分星座点相位信息,提高了系统对相位噪声的容忍度。但是,该算法采用N/2次幂消除调制相位,调制阶数越高,其计算复杂度越高。BPS算法性能良好,但需要对一个块长的符号并行处理,且各符号需要引入多个测试相位,计算复杂度过高。2.基于圆形多级正交幅度调制(C-mQAM)相干光通信系统,本文提出了一种低复杂度的盲相位噪声补偿算法(BPR)。首先,利用C-mQAM信号中星座点的相位分布构造代价函数。通过最小化代价函数实现粗略相位噪声补偿。考虑到计算复杂度,代价函数可由简单的余弦函数近似。接着,本文采用最大似然相位噪声估计算法实现剩余相位噪声补偿。最后,用28GBaud背靠背相干QAM通信系统对BPR算法、n-PSK分割算法和BPS算法进行仿真并对比较其计算复杂度。结果表明,采用C-16QAM或C-64QAM调制时,相较于n-PSK分割算法和BPS算法,BPR算法可以在减小计算复杂度的同时达到与其相近的性能。3.由于加性高斯白噪声(AWGN)信道的最佳传输分布为高斯分布,本文在28GBaud背靠背相干光系统中引入PS技术调整传输信号分布,并在接收端采用相位噪声补偿算法。本文提出一种基于C-mQAM调制的概率成型方案,一半输入比特在概率匹配后用来实现QAM幅值映射,另一半输入比特实现差分QAM相位映射。仿真分析得到,PS技术可以有效地提高相位噪声补偿算法性能。