对于星地激光通信,地球表面的大气层是其通信信道的一部分,在光信号传输过程中会受到大气湍流的影响。根据星地激光通信中大气湍流的实际情况,研究对流层的Kolmogorov湍流和平流层的non-Kolmogorov湍流对星地激光通信系统性能的影响是必要的。具体研究内容如下:首先,在平流层中,相对于以往星地激光通信系统中平流层采用kolmogorov湍流的研究,本文采用更接近实际情况的non-Kolmogorov湍流模型对星地激光通信系统进行研究,而不是kolmogorov湍流模型。为星地激光链路的通信性能分析提供了更贴近实际的理论基础。其次,在对流层和平流层中,首次提出了到达角起伏对星地激光通信性能的影响,尤其是误码性能,推导了到达角起伏影响下系统误码的闭合表达式。同时,在光强闪烁和光束漂移共同影响的基础上,研究了光强闪烁、光束漂移和到达角起伏三者共同作用对上行星地链路误码率的影响,该研究更全面、更符合大气湍流对星地链路通信性能影响的实际情况。针对上行链路,在弱、中、强湍流条件下,重点分析了上行星地激光通信系统的误码率,并与不考虑到达角起伏条件下的误码率进行了比较。在考虑发射功率受限的条件下,还分析了三者共同对系统误码率的影响。最后,在弱、中、强湍流下,在星地激光通信系统中引入了一种新的调制方式,最小频移键控(Minimum Shift Keying,MSK),研究上行链路相干探测的MSK调制系统的通信性能。MSK具有包络恒定,码元变换时相位连续,频带利用率高等优点,具有更好的缓解非线性效应的能力,更低的编码复杂度。基于Gamma-Gamma信道模型,综合考虑上行星地激光通信中固有的噪声,如光强闪烁和光束漂移的共同作用,推导出上行链路中相干探测的MSK调制系统的误码率的闭合表达式。而且,为了满足提出的星地相干探测的MSK系统对发射端和接收端的参数和配置进行优化,研究了束散角,天顶角,发射光束半径和接收口径等因素的影响。为星地激光通信系统的上星试验提供了一种性能优良,系统复杂度低,实现简单的调制解调方式的选择。