近年来随着大数据、云计算、万物互联等新兴业务的发展,人们在生活和工作中对带宽和信息传输速率的需求越来越高,光纤通信系统作为骨干网的重要组成部分,承担着扩大系统容量的巨大压力。偏振复用技术只需在系统收发端稍加改动即可以在使用现已铺设的光纤链路的前提下使频谱效率翻倍,因此已经在光纤通信领域被广泛研究。然而光纤信道并不是理想信道,相干光通信系统中引入偏振复用技术也带来了多项线性损伤,例如偏振态旋转,偏振相关损伤等。另外,由于激光器线宽的存在,信号在传输时受到相位噪声的影响,导致星座图发生旋转。随着高速数模和模数转换器的快速进步,通过数字信号处理（DSP）均衡这些损伤已经成为主流。在接收端DSP的流程上,偏振解复用又在载波相位恢复之前,前者的均衡技术必会影响后者的性能表现。本文就高速相干光通信系统中的偏振解复用算法及其与载波相位恢复算法的相互作用展开研究,以优化联合均衡方案的架构。本论文的主要研究内容如下:首先分析了不同基于斯托克斯空间的偏振解复用算法（SS-PDM）的残余相位特性,通过仿真结果指出非导频协助的SS-PDM（NPA-SS-PDM）带来的随机残余相位会严重影响后续基于卡尔曼滤波（KF）的载波相位恢复（CPR）的算法性能,对基于盲相位搜索（BPS）的CPR也有一定的影响。而导频协助的SS-PDM（PA-SSPDM）具有较小的残余相位旋转,极大地减轻了在快速动态偏振态旋转（RSOP）和相位噪声的联合损伤模型下CPR的压力,从而使得系统能够在速率高达1MHz的RSOP下正常工作。进一步研究了SS-PDM对残余色散（RCD）和偏振模色散（PMD）的容忍度,表明SS-PDM无法进行RCD和PMD补偿,算法的性能会随着RCD和PMD的增加迅速恶化,尤其是对快速RSOP和PMD共同作用引起的额外损伤较为敏感,因此指出SSPDM与多模算法（MMA）结合的必要性。最后,研究了不同SS-PDM+MMA分别和KF、BPS的CPR算法结合的联合均衡方案,并进行性能表现对比。结果表明,相较于其他方案,PA-SS-PDM+MMA+BPS方案对RSOP和相位噪声以及RCD或PMD的联合损伤模型具有更好的均衡性能表现。