目前高速光纤通信正在向大容量、长距离的方向发展,光纤链路中的色散损伤逐渐成为40Gb/s以及100Gb/s以上系统性能的重要限制因素,因此基于相干检测的色散恢复和补偿技术成为近年来光通信领域的研究热点。现在相干检测系统中主要采用电域色散补偿滤波器来进行色散补偿,它具有色散补偿量大、补偿性能好、灵活高效、成本低等优点。而滤波器的结构和长度参数的设计将直接决定色散补偿的性能和实际应用价值,所以本论文在详细分析相干检测系统中色散补偿原理的基础上进行了色散补偿算法的仿真验证、滤波器结构改进以及滤波器参数的优化,主要研究工作如下：1.回顾了光纤链路的传输特性,重点分析了光纤色散对光信号的影响,建立了色度色散和噪声的光纤传输仿真模型。2.阐述了相干接收机的原理和DSP算法处理单元的结构,搭建了40Gb/s的NRZ-DQPSK零差相干检测仿真系统,对接收端OSNR的计算方法进行了说明。3.详细分析了目前采用的两种时钟恢复算法,并使用直接内插-重采样法对25GBaud/s的PDM-NRZ-QPSK相干检测系统的背靠背实验数据进行了有效地时钟恢复处理。4.设计了时域色散补偿的直接型FIR数字滤波器,并将其改进成复杂度较低的偶对称型滤波结构,分别使用两种滤波器结构进行了色散补偿的性能仿真验证；进一步优化了影响滤波器设计复杂度的参数——抽头个数,得到了接收端OSNR代价提高1dB情况下的抽头个数的最优值,折衷取得了较好的滤波性能和较低的设计复杂度。另外,还采用了一种色散频域补偿方式进行了有效的仿真验证。