随着科技的发展,人们对大容量通信的需求越来越高,如何扩大通信系统的信道容量成为研究热点。由于光学涡旋可以携带一个量子化的轨道角动量（OAM）,且具有以下性质:任意不同OAM模态是相互正交的且拓扑荷是无穷的。因此,涡旋光束通过模式复用可以极大地提高光通信系统的容量。但涡旋光束在实际自然环境中传输时,会受到大气中温度、湿度、尘埃颗粒等的影响,使波前相位发生畸变,这对拓扑荷的识别提出了严峻的挑战。基于此背景,本文主要从三个方面进行了研究:首先研究了不同类型的涡旋光束在大气湍流中的传输特性;然后,基于干涉和卷积神经网络（CNN）的混合方案对大气湍流传输后的OAM光束进行模式识别;最后利用深度学习的方法来测量经大气湍流传输后的多模式叠加的涡旋光束的OAM。具体研究内容如下:1.研究了大气湍流对不同类型的涡旋光束的OAM谱的影响,包括优雅拉盖尔高斯光束、完美涡旋光束。首先采用功率谱反演方法,以常见的功率谱模型为基础建立大气湍流模型,仿真了优雅拉盖尔高斯光束和完美涡旋光束在不同大气湍流下传输后的强度图和相位图,并对不同大气湍流强度下传输后的涡旋光束的OAM谱进行了分析。最后利用均内方差分别评估大气湍流对不同径向指数和不同拓扑荷的优雅拉盖尔高斯光束的OAM谱的影响,以及大气湍流对不同拓扑荷的完美涡旋光束的OAM谱的影响。2.提出了干涉和卷积神经网络的混合方案来测量OAM。先建立大气湍流模型,仿真了不同大气湍流强度下拉盖尔高斯光束的强度图和拉盖尔高斯光束与平面波干涉后的强度图。再将采集到的数据集送入CNN进行模型训练。通过将提出的混合方案与传统的单独使用CNN的方案进行比较,证明该方案不仅能测量OAM的大小,还能识别OAM的正负且具有更好的识别准确率和识别精度。3.研究了基于卷积神经网络的多模态OAM测量。利用独特设计的卷积神经网络分别训练在不同大气湍流环境下采集到的4个OAM模式和5个OAM模式叠加的拉盖尔高斯光束的强度图,从而实现基于CNN的多模态OAM测量。以及利用深度学习的方法测量了多模态叠加的完美涡旋光束和多模态叠加的拉盖尔高斯光束的OAM并进行了比较分析。