近年来,高数据速率自由空间光学(FSO)激光通信系统得到了广泛的关注,这是因为光波的频率远高于传统通信使用的无线电波的频率,因此具有高传输速率,带宽大以及保密性好等优点。然而,FSO激光通信系统也存在着一些缺点。激光在大气中传输时会受到大气中的悬浮颗粒、气溶胶及大气湍流的影响。其中,大气湍流会引起大气的折射率随机变化,可对光束质量产生严重影响,使FSO激光通信系统的性能和使用受到限制。多年来,研究人员一直致力于研究如何降低激光束在大气湍流中传输受到的影响,并提出了一系列的方法,如:自适应光学系统修正;控制光源的相位、偏振、相干性等。本论文主要从光束本身特性出发,研究了带有扭曲相位的部分相干光束和一种具有特殊关联结构的光束在大气湍流中传输的行为。首先,我们研究了扭曲高斯-谢尔模(TGSM)光束经过非kolmogorov湍流的束宽、曲率半径、横向相干长度和扭曲因子的演化特性。我们对大气能量谱的分形常数α和湍流强度对TGSM光束传输特性的影响进行了详细的数值研究。研究发现在相同条件下,具有更大初始扭曲因子的TGSM光束比具有较小初始扭曲因子的TGSM光束更不容易受到湍流引起的衰减影响。其次,我们研究了特殊关联径向偏振(SCRP)光束在大气湍流中的传输特性。我们利用光束相干-偏振(BCP)矩阵推导出了平均光强分布(AID)、偏振度(DOP)和相干度(DOC)的解析表达式。我们用数值模拟的方法来详细的阐述了SCRP光束在湍流大气中的AID、DOP和DOC的演变特性,并且把得出的结果与等效条件下的部分相干径向偏振(PCRP)光束进行了对比。结果显示SCRP光束的传输特性与PCRP光束的有很大的不同,并且与湍流强度和光束的参数密切相关。