进入21世纪,随着通信行业的迅猛发展,相干光通信技术成为解决通信系统高速率和高容量传输问题的首选。如何提高接收机的灵敏度是相干光通信系统研究的核心。在各类接收机中,理论上,零差接收机的灵敏度最高,与外差接收机相比,信噪比SNR高出3dB,但零差接收机的实现有一个严格的条件,即要求输入信号和本振信号的相位严格同步。光锁相环技术(OPLL)作为最常用的相位同步技术,很好地解决了这个困扰。OPLL不仅受激光器的线宽、接收信号功率的限制,还容易受信号传输时相位误差和噪声的影响,同时也给平衡探测增加了难度。本文主要分析了零差探测下平衡锁相环、COSTAS锁相环和决策驱动锁相环的基本结构、线性简化模型,以及影响它们性能的各类相位误差和噪声,比较了它们在各个限制条件的优缺点,提出满足实验条件的优化模型,为相干光通信系统的平衡探测实现提供条件。本文优化选择相干光通信系统的各个模块,设计了基于COSTAS锁相环的平衡探测相干光通信系统,系统的总增益为1MHz/V,码率为2.5Gbit/s,激光器线宽为10kHz,COSTAS锁相环的固有频率为0.11MHz,并利用Matlab软件仿真了系统各参数,并对总体性能进行评估分析,从理论上提出了系统的改进方案,为未来更快更好地实现高性能的相干光通信系统传输提供了参考。从分析结果来看,基于COSTAS锁相环的平衡探测相干光通信系统能为工程应用提供实际的帮助。