偏振复用相干光正交频分复用(PDM CO-OFDM)技术结合了OFDM技术频谱效率高、色散(CD)容忍度高、抗偏振模色散(PMD)能力强的优点和相干检测技术接收灵敏度高、传输距离长的优势以及偏振复用技术加倍传输速率和信道容量的特点。然而,在IQ调制和相干检测的过程中,由于器件的非理想特性,引入了发送端和接收端信号同相和正交相(IQ)之间的幅度和相位的不平衡,使得载波间的正交性受到破坏;在数据传输过程中,由于光纤中的CD、PMD以及噪声等的影响,引入了两个偏振态之间的相互干扰。这两种因素都会导致PDM CO-OFDM系统性能的严重下降。本文主要研究了PDM CO-OFDM系统中信道与IQ不平衡的估计和补偿算法。主要内容包括:(1)提出了一种新型训练序列结构用于估计信道和发送端IQ不平衡。对比文献给出了系统的数学模型,并将信道和IQ不平衡看做一个整体,提出了一种训练序列结构,并给出了相应的估计和补偿算法。由于仅有一半的子载波被使用,使得估计的误差变大,从而降低了系统的性能。本文依据模型中IQ不平衡因子间的关系,提出了一种新型的训练序列结构,并给出了两种信道和IQ不平衡的估计算法。一种算法实现了信道和IQ不平衡的独立估计,从而消除了估计误差的累积;另一种算法降低了训练序列的开销,从而提高了频谱利用率。仿真结果表明:在100Gb/s的系统中经过传输480km的标准单模光纤的传输,当IQ幅度不平衡为3dB,相位不平衡为15°时,对比算法的误码率在110-量级;而提出的两种算法可实现误码率为31 10-?的有效传输。经过对比分析,提出的两种算法的计算复杂度均降低了将近64%。(2)提出了一种新型训练序列结构用于估计信道和接收端IQ不平衡。对比文献采用GSOP算法和传统训练序列实现IQ不平衡和信道的估计和补偿。GSOP算法并不能完全的消除IQ不平衡,使得信道的估计值会受到残余的IQ不平衡的影响,从而降低系统的性能。本文推导了系统的数学模型,并给出了一种新的训练序列结构,使其与GSOP算法结合时,能够消除部分残余IQ不平衡的影响,从而降低信道的估计误差。另外,本文给出了一种频域估计算法,能够实现信道和IQ不平衡的独立估计,从而消除估计误差的累积。仿真结果表明:在100Gb/s的系统中经过传输480km的标准单模光纤的传输,当IQ幅度不平衡为2dB,相位不平衡为10°,误码率为31 10-?时,所提出的基于新型训练序列的GSOP算法和频域估计算法与对比算法相比,对相位的容忍度分别提高了5°和15°,对光信噪比的处罚分别降低了4dB和6dB。