近年来,自由空间涡旋光通信因为其在通信容量和频谱效率方面的显著优势,引起了国内外众多学者的研究兴趣。自由空间涡旋光通信作为自由空间光通信的一种,相较于射频无线通信和光缆光纤通信,不仅有更大的通信容量,还能快速构建通信链路。涡旋光的轨道角动量本征态相互正交,并且理论上可以复用产生无穷多种轨道角动量叠加态,为光通信提供了一种新的通信维度,将光通信中携带信息的载体从光信号的振幅、偏振、频率和相位等推广到了轨道角动量。同时,由于自由空间光通信以自由空间为信道,涡旋光在传输过程中会受到大气湍流扰动畸变的影响,轨道角动量态发生弥散,引发了模间串扰现象,严重影响通信性能。因此,对于轨道角动量涡旋光通信,尤其是其传输模态畸变、校正与检测研究具有重要的研究意义和应用价值。本文围绕深度学习在自由空间涡旋光通信系统上的应用展开研究,在传统涡旋光通信系统框架的基础上,围绕现有方法的不足,进一步研究了基于深度学习的涡旋光轨道角动量态检测技术和湍流畸变补偿技术,通过理论分析和仿真对比实验证明了本文提出方案的可行性和优越性。本论文工作主要包括以下三部分:（1）提出了基于注意力金字塔卷积神经网络的涡旋光轨道角动量态检测技术。虽然共轭模态涡旋光束的光强分布呈花瓣状利于检测,但是有些叠加态涡旋光束的光强分布十分相似;同时拓扑荷数大的单模态涡旋光束经平面波干涉后干涉条纹密集,不易检测。由于涡旋光在传输过程中会受到大气湍流扰动畸变的影响,CCD相机捕获的图像发生了畸变,使得本就相似的图像更加难以分辨。针对上述问题,论文在Resnet网络后添加结合注意力金字塔的双路径结构,并在不同传输条件（湍流强度和传输距离）下进行仿真实验,通过对比检测准确率和误比特率,表明了提出的检测方案能进一步提升轨道角动量态的检测精度。（2）提出了基于深度互学习的涡旋光轨道角动量态检测技术。为保证接收端的轨道角动量态检测准确率,检测网络复杂度高,这与光通信系统移动端部署的需求产生了矛盾。为了自由空间涡旋光通信的大规模应用,结合工业化需求,论文引入深度互学习,使各个检测网络同时训练,互相学习。并基于仿真数据进行对比实验,实验结果表明,基于深度互学习的轨道角动量态检测技术在损失很小的检测准确率的前提下极大地减少了参数量和计算量。同时,通过增加互学习队列中的网络数量,为进一步提升轨道角动量态检测精度提供了新的方向。（3）提出了基于生成对抗网络端对端的涡旋光湍流畸变补偿技术。现有的基于深度学习的涡旋光湍流畸变补偿技术的核心是波前重构算法,基于探针光束,通过训练探针光束的光强分布与大气湍流Zernike系数的映射关系来重构波前。相较于现有方案,论文仅用CCD相机捕获的涡旋光的光强分布直接输出补偿后涡旋光的光强分布,不需要先分离出探针光束重构波前再控制光学器件进行补偿,充分利用了涡旋光作为空间结构光的特性,并在Pix2pix和CycleGAN的基础上添加了结构相似性损失函数项。设计仿真实验,从主观指标（补偿前后光强分布、差值图像）和客观指标（结构相似性和补偿前后的轨道角动量态检测准确率）两方面评价畸变补偿性能。实验结果表明,提出的涡旋光湍流畸变补偿方案能在无需重构波前、节省了光学器件的情况下仍保证优秀的畸变补偿性能。