无线光通信系统在频谱资源匮乏的情况下,可以提高频谱资源的利用率以满足信息的高速传输,被广泛地应用于众多领域,更为信息的可靠传输提供保障。对于传统的光通信系统,在传输过程中占据的信道空间较大,信噪比较低,还会产生较为严重的非线性效应,难以满足对无失真信号恢复的要求。为了提高信息传输的高效率与低误码率,本文分别采用四相相移键控(quadrature phase shift keying,简称QPSK)调制、正交幅度调制(quadrature amplitude modulation,简称QAM)技术,并对传统算法进行改进,在降低误码率的同时可提高信号传输的可靠性。首先,对传统的最小均方误差算法(least mean square,简称LMS)进行研究,并将改进后的算法应用于光通信系统中,从迭代运算的误码率、星座图中分析算法的稳态特性等优缺点。其次,对传统的Godard算法、Bussgang算法、恒模算法(constant modulus algorithm,简称CMA)进行研究。在恒模算法的基础上用时变步长代替固定步长,以均方误差为判决依据,并对信号进行QPSK调制处理,可增加信道的利用率,减少相位差,降低信号误码率,加快星座点的收敛速度,从而使信号得到较好的均衡效果。除此之外,在不同阈限值下调用LMS算法和CMA算法,充分利用CMA算法收敛速度快以及LMS算法稳态特性好的特点对信号进行相位均衡。实验结果显示,改进后的算法误码率降低了3d B,收敛速度加快,效果明显。对于高速传输的光通信系统,若继续采用QPSK调制技术,信息的传输速率会变慢,故本文在改进后的CMA算法中采用64-QAM调制,利用时变步长的实时跟踪特性以及优化代价函数,使得在高阶调制方式下的均衡技术具有良好的均衡效果,可实现信息的快速传输。