随着人工智能、物联网、大数据、网络音视频服务、云计算、AR+VR、5G移动通信技术等的飞速发展，全球数据流量呈现指数爆炸式增长。现阶段全球主干通信网络所采用的单模光纤经过时分复用、波分复用、相位调制等多维度的复用，其容量已经接近非线性香农极限。数据流量的飞速增长与光纤容量增长乏力之间的尖锐矛盾使人类面临容量短缺的危机。为了进一步提升光纤通信系统的容量，人们提出了模分复用（MDM）技术。MDM主要有两种实现形式：LP模式复用与OAM模式复用。理想状态下，复用模式之间是相互正交、互不干扰的，因此理论上模式可进行无限复用，大大提升光纤通信系统的容量，是未来解决容量短缺危机最有希望的方案。但是在实际应用中，光纤不可避免地由于各种内部因素（如光纤制造工艺不完善造成的光纤结构缺陷）与外部因素（如应力造成的光纤弯折、扭曲、受压）而受到扰动，此时复用模式之间的正交性质受到破坏，造成模式之间发生耦合，进而使加载在模式上的信号之间发生串扰，严重影响系统性能。模式耦合是目前制约MDM应用于长途信息传输的重要因素，因此对模式耦合机制与规律的研究与分析是非常重要的课题。本文主要围绕模分复用系统中的模式耦合等问题进行研究，主要研究内容如下：
　　1、提出了受扰动光纤中的模式耦合理论，并依据所提出的模式耦合理论与矢量模式理论，提出了分析模式耦合成分并求解各耦合模式耦合系数的数值求解方法。这为定量分析通信系统中的模式耦合，以及接收端对信号的恢复与补偿提供了理论指导。
　　2、利用所提出的模式耦合理论与数值求解方法，定量分析了不圆度和不同心度两种扰动下模式耦合的机制及其对信号传输的影响。基于模式耦合理论的自洽性对数值计算结果进行了误差分析。这为设计能够高质量完成OAM模式传输的新型光纤奠定了一定的理论基础。
　　3、理论分析了光纤信息传输中常见的贝塞尔模式的自旋角动量与轨道角动量，并据此分析了光纤中OAM模式的纯度。设计并完成了OAM模式激励、接收及其与基模的干涉实验。这为OAM模式复用系统的搭建以及将其应用于长距离信息传输提供了理论指导。