近年来,单模光纤的传输容量瓶颈问题日益突出,空分复用可以通过更高效地利用单根光纤的物理空间来有效克服该问题,引起了学术界和工业界的广泛关注。空分复用可以分为多芯复用和模分复用,多芯复用利用多芯光纤的各个纤芯作为独立的信道传输光信号,模分复用则利用少模光纤或轨道角动量（OAM）光纤中的各个模式作为独立信道。与多芯光纤相比,少模光纤和OAM光纤的集成度更高,单位横截面可以支持更多的信道。并且,单纤芯的少模光纤结构跟传统光纤更加接近,其拉制、有源无源器件制备和光纤维护等方面更加兼容传统光纤,使得其成本也可以显著降低。另外,由于不同模式在物理空间上相互交叠,在光放大过程中,各个模式可以有效地共享泵浦光,进而提升泵浦光的效率。得益于以上优点,模分复用可以实现更低的铺设成本和能耗。为了实现模分复用传输系统,需要重新设计光纤、无源组件、有源组件和信号处理模块等。本论文将着重研究模式复用器（解复用器）、模式混合器和光放大器。首先,本论文基于耦合模理论,研究了两根弱耦合少模光纤的耦合过程,着重对非圆对称模式(如LP₁₁模式和LP₂₁模式)的耦合过程进行了理论分析和数值仿真。研究发现,非圆对称模式的耦合过程与入射模式的方向角相关,这给少模光纤耦合器的设计带来挑战。通过控制两根少模光纤的间距和耦合区的长度,我们克服了这个问题,并仿真实现了对入射模式的方向角不敏感的少模光纤耦合器。基于该设计方法,我们仿真实现了基于少模光纤耦合器的模式复用器（解复用器）。该少模光纤耦合器工作于850 nm,使用的光纤为普通单模光纤(在850 nm处支持LP₀₁模和LP₁₁模)。在845 nm至855 nm带宽范围内,少模光纤耦合器的插入损耗小于0.03 dB(LP₀₁模)和0.24 dB(LP₁₁模)。当少模光纤耦合器被用作模式解复用器时,消光比LP₀₁/LP₁₁和LP₁₁/LP₀₁分别大于12.6 dB和21.2 dB。该设计方法可以扩展到其他波段的模分复用系统。接着,我们基于多平面光转换技术,实现了支持10个空间模式的模式混合器,该模式混合器的插入损耗小于4 dB。多平面光转换技术可以灵活地实现模式混合,并且工作带宽可以达到200 nm。在实验中,为了实现10个空间模式混合,多平面光转换技术共使用了14个相位掩膜版。如果减少空间模式的数量,所需相位掩膜版的数量可以相应地减少。然后,本论文实现了二阶泵浦少模拉曼放大器。实验使用的光纤为100公里少模光纤。为了减小LP₀₁和LP₁₁的模间差分增益,一阶泵浦（1455 nm:75 mW）和二阶泵浦（1360nm:1890 mW）均被等分并耦合至LP_11a模和LP_11b模。实验中,我们测试了LP₀₁模和LP₁₁模的拉曼开关增益,两个模式的增益均大于8 dB,模间差分增益小于0.7 dB。相比于一阶泵浦（1455 nm:510 mW）少模拉曼放大器,二阶泵浦的自发辐射噪声（ASE）降低了1.8dB,有效噪声指数提升了1.4 dB。为了验证二阶泵浦少模拉曼放大器的性能,我们进行了模分复用传输实验。得益于二阶泵浦少模拉曼放大器的低噪声性能,系统的误码率性能显著提升。接着,我们实现了在C+L波段内增益平坦的少模拉曼放大器。实验使用的光纤为75公里少模光纤。在75 nm（1530-1605 nm）带宽范围内,LP₀₁模和LP₁₁模的拉曼开关增益均达到了4 dB,波长差分增益均小于0.6 dB,LP₀₁和LP₁₁的模间差分增益小于0.3dB。为了验证C+L波段少模拉曼放大器的性能,我们进行了模分复用传输实验。相比于无泵浦情况,在基于少模拉曼放大器的传输实验中,光信噪比改善了3.3 dB,误码率性能提升了两个数量级。除了线偏振（LP）模式,轨道角动量（OAM）模式也可以实现模分复用传输。本论文实现了OAM拉曼放大器。实验使用的光纤为18公里阶跃折射率光纤,该光纤的纤芯为圆环状,可以支持OAM模式。在1530 nm至1565 nm带宽范围内,OAM₊₄模OAM₊₅模的最大增益均达到了3.5 dB,两个模式间的差分增益小于0.3 dB。为了验证OAM拉曼放大器的性能,我们进行了波分复用结合模分复用的传输实验。相比于无泵浦情况,在基于OAM拉曼放大器的传输实验中,光信噪比改善了1 dB,误码率性能得到了提升。实验中结合了2路OAM模分复用和16路波分复用,系统传输容量达到了640 Gb/s。最后,对本论文所有的研究内容作了总结,针对模分复用光纤通信的研究主题,提出对未来的研究工作的建议和展望。