最小频移键控（Minimum Shift Keying，MSK）作为一种特殊的连续相位频移键控（Continuous Phase Frequency Shift Keying，CPFSK），具有包络恒定、能量集中、频谱效率高、相位连续等优点被广泛应用于无线数字通信系统中。随着光学器件的发展与更新，人们对MSK在相干光通信系统中的应用开展了大量的研究。由于采用的是相干检测解调方案，发送激光器与本振激光器之间存在的频率偏移和线宽将会导致接收信号发生相位和幅度失真，使得不能正确恢复出原始发送数据序列，接收机性能降低。本文主要针对光相干检测通信系统中MSK信号所受到的频率偏移和相位偏移进行分析和研究，然后通过相应的数字信号处理算法进行估计和补偿，具体研究成果如下：　　1、提出了一种联合快速傅里叶变换（Fast Fourier Transform，FFT）与线性调频Z变换（Chirp Z-transform，CZT）的高精度频偏估计算法，并在基于MSK调制格式的相干检测通信系统中进行仿真验证。该算法主要分为两个步骤：首先进行一个频偏粗估计，利用FFT大致判断出待测频率的主瓣位置；然后进行一个频率细化操作，即采用CZT来获得比较理想的频偏估值，从而消除频率偏移的影响。仿真结果表明：在误差矢量幅度（Error Vector Magnitude，EVM）指数为20％时，采用FFT&CZT估计算法比采用传统频偏估计算法的系统灵敏度提高了1.7dB。该算法在考虑估计范围的同时，提高了估计精度，是一种比较适合于长距离传输情况下的频偏估计算法。　　2、提出了一种优化的相位模糊解决方案。在光相干检测通信系统中，相位噪声是另一个造成信号失真的重要因素。在进行相位估计时，相位估计算法都存在一个相位模糊问题。为此，本文在基于M次方相位估计算法的基础上通过理论研究得出了一种优化的相位模糊解决方案，并通过仿真验证了该方案的有效性。仿真结果表明：改进后的M次方相位估计算法有更好的线宽容忍性，并且能够有效地补偿MSK信号在光纤传输过程中受到的频率选择性衰减所导致的相位偏移的影响，从而降低了系统的误码率，提高了系统的接收性能。