最大似然序列估计(MLSE)均衡技术是一种基于维特比判决算法(Viterbi Algorithm)的技术,用于改善码间串扰(ISI,Inter-Symbol Interference)信道的性能。对于加性高斯白噪声的信道,MLSE被认为具有最佳的性能。对于高速光纤通信系统,色散是其主要制约的因素,限制了系统的传输容量。色散效应会导致光脉冲展宽,这种脉冲的展宽会造成ISI,增加误码率,降低系统的性能。除了传统的色散补偿光纤外,电信道均衡技术可以用来实现色散的动态补偿,MLSE就是其中的一种。因为集成电路的低成本优势和随着电信号处理技术的迅速发展,各大光纤设备制造商对该技术进行了大量的研究。关于MLSE均衡技术在光纤通信系统中的研究,从2005年开始逐渐增多,既包括理论和仿真的系统性能的研究,也包括实验验证。对MLSE均衡技术的性能分析及优化是本文的重点,本文的主要工作有:首先介绍了数字光纤通信系统,光发射机和光接收机的主要结构,分析了各器件对系统所起的作用以及带来的负面影响。然后介绍了MLSE技术的Viterbi算法的译码过程,并在加性高斯白噪声信道下推导了序列估计的判决公式。分析了一种数字光纤通信系统模型,该模型的噪声主要来源于接收机的热噪声。在该模型下仿真分析了MLSE均衡技术的性能,并在理论公式推导下,提出了一种性能更佳的算法。但该算法计算比较复杂,接着又从简化该算法的目的出发,提出了两种优化方法,通过对比找到了一种性能最佳的优化方法。最后分析了噪声主要受放大自发辐射(ASE)影响的系统模型,该模型下接收端的信号不是高斯分布,而是更复杂的CHi平方分布,在这种模型下分析了ASE噪声和色散对系统性能的影响,利用上一个模型中的优化方法,仿真验证了这些方法的优化性能,最后提出了两种简化判决公式的算法,对并且对比了这两种方法的性能。