随着通信技术的快速发展,人们对信息传输容量及速率的要求也越来越高。实现更大的数据传输容量是光通信的主要研究方向。其典型方法是复用多个独立的数据信道,比如波分复用(WDM),偏振复用(PDM)和空分复用(SDM)等。最近,光子轨道角动量(OAM)复用技术引起了学界许多研究者的广泛关注。本论文主要关注OAM光通信系统中的OAM模式分析所面临的困境,提出了两种高效的模式分析方法,本论文的主要内容:(1)建立了一种基于改进March-Zehnder干涉仪和复合相位光栅的轨道角动量模式的高效分类测量系统。基于涡旋光束之间的正交性,通过联合嵌入道威棱镜的马赫曾德干涉仪(MZI-DP)和复合相位全息图(CPG)的复合系统,我们提出了一种新型OAM解调方案,该方案可以实现对高密度的多OAM光束的同时测量。其中,MZI-DP将OAM光束分类成具有奇、偶拓扑荷的两类光束,紧接着在CPG中,可以分别对奇、偶拓扑荷的两类光束进行测量。在这里,我们在实现高密度拓扑荷测量的同时还可以实现相邻OAM光束之间无重叠分辨。此外我们对含有50个OAM态的复合OAM光束的同时测量进行了仿真,结果表明,我们所提出的方案具有高识别率的优越性能。(2)建立了一种基于改进型模式变换系统的大范围完美涡旋光束的检测系统。这里,我们提出了一种改进型模式变换器,实现更宽的完美涡旋(POV)的检测范围。所提出的改进型模式变换器由可实现完美涡旋光束到矩形光束阵列转化的相位板(P1)和相位校正器(P2)以及傅里叶透镜阵列组成,相位板P1加载的复合相位包含螺旋相位、线性相位和fan-out相位,通过相位P1,完美涡旋将被映射为矩形光束阵列,P2是相位校正器元件,它校正来自映射变换带来的相位失真。最后,我们用傅里叶透镜阵列对二维矩形光束阵列进行傅里叶变换,得到检测所需要的光斑阵列,从而可以实现对完美涡旋更宽的范围检测。此外,为了验证该方案的可靠性,我们利用提出的方法进行灰度图像的传输,结果表明,该系统能实现无误码率传输。