空间相干光通信系统由于具有接收灵敏度高、能够克服背景噪声等优点，在高速率、长距离传输上更具优势，是目前空间激光通信的发展方向。然而，大气湍流引起的折射率随机起伏会导致激光信号的振幅和相位发生随机波动，与强度调制/直接探测系统相比，空间相干光通信系统不仅受到振幅波动的影响，还明显受到相位波动的影响，因此研究大气湍流对空间相干光通信系统性能的影响具有重要的意义。然而，此前的大气湍流影响下的空间相干光通信系统理论模型主要基于平面波传输模型，而平面波模型在星地上行链路等情形中并不能很好的近似高斯光束模型，此外，平面波模型不能研究发射光束半径、本振光束半径等参数对系统性能的影响。因此需要发展大气湍流影响下的高斯光束空间相干光通信系统理论模型，并对各种大气湍流效应对系统性能的影响展开研究。本文概述了空间相干光通信系统的研究意义、研究进展、关键技术以及大气湍流对空间相干光通信性能影响的研究进展，介绍了大气信道的湍流特性，包括大气折射率结构常数模型、折射率起伏功率谱密度模型以及各种大气湍流效应。本文分析了大气湍流影响下的平面波空间相干光通信系统理论模型，并在平面波模型的基础上，建立了大气湍流影响下的高斯光束空间相干光通信系统理论模型，推导得出了系统的信噪比概率密度分布函数。利用平面波理论模型，针对水平传输相干光通信链路，研究了光强闪烁指数、相位波动方差和自适应光学相位补偿技术对系统误码率的影响，并对接收孔径直径进行了优化，研究了孔径平均效应以及大气湍流内外尺度对系统误码率和接收孔径直径最优值的影响。利用高斯光束理论模型，针对水平传输相干光通信链路，研究了光强闪烁指数、相位波动方差以及自适应光学相位补偿技术对系统误码率的影响，并对发射光束半径、本振光束半径和接收孔径直径进行了优化。利用高斯光束理论模型，针对地星上行相干光通信链路，研究了光束漂移对系统误码率和发射光束半径最优值的影响，对不同天顶角和波长条件下的发射光束半径和接收孔径直径进行了优化，并给出了在上行链路中相位波动方差对系统性能影响很小，无需采用相位补偿技术的结论。利用高斯光束理论模型，针对星地下行相干光通信链路，研究了孔径平均效应以及自适应光学相位补偿技术对系统误码率和接收孔径直径最优值的影响。本论文的研究工作为空间相干光通信系统的设计提供了理论依据，具有重要的指导意义和参考价值。