随着大数据时代的到来，高速大容量是光通信发展的必然趋势。在目前已有通信维度资源（偏振/幅度/相位/频率/时隙）开发殆尽初现“新容量危机”的情况下，“新维度探索”是从根本上大幅提升系统容量的关键所在。近年来，通过开发利用与光波横向空间相位关联的轨道角动量（OAM:orbital angular momentum）维度，提升系统容量和频谱效率在国内外引起了广泛关注。与自旋角动量不同，轨道角动量与螺旋形相位波前联系在一起，理论上取值无穷且彼此正交、易于区分，因此在通信应用中有着巨大潜力。本文主要从自由空间OAM光通信、光纤OAM光通信、基于OAM的光信号处理与操控技术三个层面针对目前OAM光通信中的关键问题展开了理论和实验研究，具体内容如下：　　（1）从轨道角动量定义出发推导了螺旋相位与光子轨道角动量之间的关系，验证了OAM光束的空间正交性；介绍了常见OAM光束类型以及在光通信应用中如何选型。讨论了基于空间光调制器（SLM）的OAM光束产生、检测、复用与解复用技术。详细分析了OAM模式的光纤传输特性。　　（2）实验研究了自由空间多维度融合OAM光通信系统。首先实现了携带17.9-Gbit/s OFDM/OQAM64-QAM的双偏振22个OAM模式（44个信道）复用，频谱效率达230 bit/s/Hz；进一步实现了实现了携带54.139-Gbit/s OFDM-QAM信号的双偏振26个OAM信道结合368个波长的复用传输（19136个信道），系统总容量为1.036 Pbit/s,频谱效率为112.6 bit/s/Hz。　　（3）通过操控OAM光束的螺旋相位波前，实验和理论研究了OAM信息广播与复用/解复用技术。利用单个SLM加载特殊设计的复杂相位板，实现了单个高斯光束到34个OAM模式的信息广播；紧接着，通过在广播系统中引入反馈校正实现了功率可控的OAM信息广播；进一步的，通过结合偏振、波长维度，实现了单个信道到1100信道（25波长×22 OAM×2偏振）的多维信息广播。此外，还利用单个特殊设计的复杂相位板实现了多个OAM模式的同时解调与调控。　　（4）实验研究了OAM光通信大气湍流校正技术。首先介绍了大气湍流仿真理论和基于自适应光学的OAM光通信大气湍流校正系统。利用Shack-Harman波前传感器和SLM组成的自适应波前校正系统实现了对4通道和8通道OAM广播的大气湍流校正，有效降低了广播信道的功率抖动、信道串扰，提升了误码率（BER）性能。接着研究了Bessel光束复用通信大气湍流补偿技术，并考虑了Bessel光束同时经过湍流和障碍物的复杂情况。　　（5）理论和实验研究了光纤OAM光通信技术。首先提出并优化设计了具有低模间串扰和芯间串扰的7-芯多OAM多环光纤。进一步的，为了增大单根光纤支持的纤芯数，在7-芯光纤的基础上引入了抑制芯间串扰的低折射率沟道，设计了19-芯多OAM多环光纤；光纤包层仅为130μm，单根光纤可以支持22模式×19环=418空分信道，充分利用了空间维度。此外，为了实现低非线性的OAM光纤，本文提出并设计了超模OAM光纤；仿真结果显示超模OAM光纤可以支持高纯度的OAM模式，且具有低模式串扰、低非线性系数、低模式相关损耗和增益等优点。最后，设计并实现了全光纤OAM模式转换器。模式转换器由焊接在一起的单模光纤（SMF）和少模光纤（FMF）构成，通过金属光栅、旋转器、金属平板等器件挤压FMF，可以实现光纤基模到OAM模式或线偏振（LP）模式的选择性激发。