与时间、频率、正交码片等自由度一样,轨道角动量（OAM）为复用通信系统提供了一种新的自由度。基于轨道角动量的复用通信系统可大幅度提高系统传输速率,增加频带利用率。然而,在自由空间中传输的复用OAM光束不可避免地遭受大气湍流的影响而产生串扰。OAM串扰会严重地影响系统通信质量,因此,研究抑制大气湍流对OAM复用通信系统的影响的方法具有重要理论意义和参考价值。论文首先研究了基于线性多用户检测的OAM复用自由空间光通信方案。大气湍流使得OAM态在传输中能量发生迁移,导致复用OAM各信道间的串扰;并且湍流强度越大,串扰越严重,极大地降低了通信系统的质量。传统的单用户检测方法把串扰当作无用的噪声,忽略了其中包含的各用户间的相关性信息。论文在基于多用户检测抑制湍流影响的OAM复用通信链路等效模型基础上,采用线性最小均方误差（MMSE）多用户检测方法对接收信号进行检测,有效地利用了串扰。数值仿真结果表明,MMSE多用户检测方法能够同时有效地抑制大气湍流引起的串扰和随机噪声的影响。在弱、中强度湍流条件下,相对于传统单用户检测而言,MMSE检测的系统误码率可降低1到2个数量级;与解相关多用户检测相比,MMSE检测可有效克服噪声增强的问题。然后,论文研究了基于最小均方算法（LMS）的盲自适应多用户检测的OAM复用自由空间光通信方案,通过基于最小输出能量的LMS算法,仅利用接收信号本身的先验信息直接对观测到的数据进行信号处理,使检测器输出序列尽量接近发送端发送的序列。仿真结果表明,LMS盲自适应多用户检测方法可以有效地利用接收信号中的串扰信息分离出期望用户的信息,抑制大气湍流对OAM复用通信系统产生的不利影响,尤其是在弱、中强度湍流(C_n²＜10^-14m^-2/3)下,系统误码率明显减小。最后,论文研究了基于变步长LMS盲自适应多用户检测的OAM复用自由空间光通信方案,此方案能够根据信道的变化实时调整步长的大小,大小合适的步长能够提高检测算法的收敛速度,减小输出的稳态误差。变步长LMS盲多用户检测技术对信道的动态跟踪能力强,可以有效避免失调量大的现象发生,性能稳定。仿真结果表明,变步长LMS盲多用户检测可以把系统零误码率的大气湍流强度上限大大提高,并在弱、中湍流强度条件(10^-15m^-1/3＜10^-14m^-2/3)下使系统误码率明显降低,提高通信系统性能。