自由空间光通信是空间信息网络中高速信息传输的重要手段,相比传统的通信技术更具信息传输的安全性及抗干扰能力。目前该技术存在着频谱利用率低、通信信道容量不足等问题。理论上,利用携带轨道角动量（orbital angular momentum,OAM）的涡旋光束作为光通信的信息载体,通过轨道角动量这一新自由度进行信息编码,可解决上述问题。然而,在实际应用中,涡旋光束在复杂信道中传输时必然会受到空间中大气湍流、降雨等因素的影响,导致光束的轨道角动量发生串扰、传输质量下降,进而增大了通信误码率。因此研究复杂信道中涡旋光束轨道角动量串扰及检测对涡旋光通信系统具有重要的理论意义和应用价值。本文以经典的拉盖尔高斯（Laguerre-Gauss,LG）涡旋光束及聚焦LG涡旋光束为模型,从理论分析与数值模拟两方面展开研究。理论方面,推导涡旋光束螺旋谱表达式并分析光束各参数及湍流相关参数对光束轨道角动量串扰的影响;根据夫琅禾费衍射理论,推导了相位畸变后LG光束经过椭圆形光阑的衍射强度分布。模拟方面,构建大气湍流、湍流-雨滴混合相位屏,对光束在信道中传输进行建模,分析光束在复杂信道中传输的特性。最后模拟结果与理论结果做比较,研究了检测涡旋光束携带轨道角动量信息的方法。主要工作如下:（1）基于螺旋谱分析理论,采用各向异性non-Kolmogorov大气湍流功率谱,理论推导了聚焦、非聚焦（准直）拉盖尔高斯涡旋光束在各向异性大气湍流下的螺旋谱表达式。分析了不同光束参数（波长、轨道角动量数、束腰半径）、湍流参数（湍流强度、各向异性系数、湍流内尺度、湍流外尺度）、其他参数（传输距离、传输高度）对光束接收功率的影响。结果表明不同参数对接收功率有不同程度的影响。对比准直与聚焦LG光束,得到聚焦LG光束在湍流中的接收功率更高,抗湍流能力更强。（2）基于快速傅里叶变换的功率谱反演法,构建大气湍流、湍流-雨滴混合相位屏,利用多层相位屏法建立光束的传输模型。首先模拟对比了准直与聚焦LG光束在大气湍流中的光强相位分布;然后模拟了湍流-雨滴混合情况下LG光束的光强相位分布;最后模拟了不同参数下LG光束的轨道角动量串扰特性,模拟结果与理论分析有较好的一致性。结果表明聚焦光束在湍流中传输质量优于准直光束,且光束在有降雨情况下传输质量更差。（3）基于衍射原理,利用椭圆形光阑检测相位扰动后LG光束的轨道角动量数,得到了不同湍流强度、不同传输距离下LG光束经过光阑的衍射光强图。仿真结果表明:在真空中或较弱的湍流条件下,可以根据衍射光强图的特征来判断LG光束携带的拓扑荷数,但随着传输距离与湍流强度的增大,光束畸变严重,导致无法检测到光束的轨道角动量信息。