轨道角动量键控(OAM-SK)是利用携带轨道角动量的涡旋光束达到信息传输目的的一种光通信方式,将涡旋光束的不同OAM模式与数字信号进行一一对应实现信号调制。卷积神经网络(CNN)十分适合对图像数据的操作,且对图像的识别准确度很高。所以基于CNN的OAM-SK是一项具有重大研究价值的课题。本文首先介绍了本课题的背景、研究意义和现状,然后介绍了涡旋光束和CNN的基本理论,设计了一种使用CNN的涡旋光束的检测方法,再根据这种检测方法,提出了一种基于CNN的相干解调的OAM-SK系统。最后对基于CNN的OAM-SK系统进行了综合的分析。本文主要的研究内容和学术贡献:(1)提出了一种新型的涡旋光束的检测方式,使用相机记录下涡旋光束的强度图或与其它光束相干得到的干涉图,再使用基于CNN的图像识别器检测出涡旋光束的拓扑荷。之后通过理论和仿真分别剖析了这种检测方法。(2)提出了基于CNN的相干解调的OAM-SK系统,在解调准确度、系统信噪比和图像对比度三个方面对这种OAM-SK系统进行了详细的分析。并与基于CNN的非相干解调的OAM-SK系统进行了比较,得出了在相同条件下,基于CNN的相干解调的OAM-SK系统具有更高的解调准确度和系统信噪比,优于基于CNN的非相干解调的OAM-SK系统的结论。(3)研究了发射端使用不同OAM模式和接收端使用不同解调方式的基于CNN的OAM-SK系统,并且比较了每种系统的解调准确度,对非相干与相干解调的系统之间、非相干解调的系统之间和相干解调的系统之间都进行了比较分析,并给出了理论解释。