近年来相干光通信系统凭借其信道容量大、灵敏度高、传输距离远和可以采用任意调制格式等优点逐渐成为了光通信中的主流技术。但在相干光通信系统中,由于种种物理器件的不理想,使得接收端接收到的信号会受到多种损伤。为了能够对接收到的信号进行补偿,通常会使用多种数字信号处理(Digital Signal Processing,DSP)算法来对信号进行恢复。本文着重研究了单载波相干光通信系统中的偏振模色散(Polarization Mode Dispersion,PMD)补偿算法和相干光正交频分复用(Coherent Optical Orthogonal Frequency Division Multiplexing,CO-OFDM)通信系统中的信道估计算法。首先,针对单载波相干光通信系统中偏振模色散导致的偏振串扰问题,本文提出了两种基于独立元分析算法(Independent Component Analysis,ICA)改进的半径指向恒模算法(Radius-Directed Constant Modulus Algorithm,RD-CMA)来对其进行解偏振复用。与RD-CMA算法相比,这两种算法具有相同的偏振模色散补偿能力,但是收敛速度更快且克服了单极性问题。与ICA算法相比,这两种算法具有持续的偏振跟踪能力,且不需要考虑不确定性问题的干扰。此外,对于CO-OFDM光通信系统,本文分别提出了两种基于单源ICA算法的盲信道均衡算法并解决了 ICA算法的不确定性问题。相比于基于训练符号的信道估计算法,这两种算法具有相同的信道均衡效果,且由于不需要使用训练符号,有效地提高了频谱效率。最后,从ICA算法所需使用的符号数量和迭代次数的角度对这两种算法进行简化,减轻了计算复杂度。