少模光纤具有比单模光纤更多的模式信道和更低的非线性效应,以及比多模光纤更低的模间色散,利用少模光纤搭建的模分复用传输系统能够成倍扩增单模光纤系统的传输容量,并且具备实现长距离传输的条件,因此成为了传统单模光纤系统扩容的热门方案之一。但是由于模式复用器/解复用器的性能缺陷、少模光纤折射率分布不均、光纤放大器增益曲线不平坦等原因,少模光纤信道中存在差分模式群时延、模式耦合和模式相关损耗三种固有损伤,会对模式信号的传输造成很大的影响。能否在传输过程中对信道损伤进行控制并在接收端对信号进行有效的补偿,成为了模分复用系统能否实现大容量、长距离、高速率传输的关键。本文依托纵向科研项目,针对少模光纤模分复用系统中固有损伤产生的原因、损伤的控制方法和信号补偿算法的工作性能的研究开展如下工作:1、对模分复用相干通信系统的基本概念进行介绍,推导了线性极化模的定义和少模光纤中模式的正交性,分析了少模光纤中三种固有损伤的产生原因,为模分复用相干通信系统搭建提供理论基础。2、基于矩阵传输理论,对少模光纤信道进行建模,从数学角度分析三种固有损伤对信号造成的影响,为之后信号补偿算法的研究进行了理论铺垫。3、根据建立的信道模型,利用VPI光学仿真软件搭建了模分复用传输仿真平台,使用Matlab软件编写的程序实现信号的DSP处理。在该平台中,利用仿真验证了LMS算法对少模光纤中差分模式群时延和模式耦合的均衡效果,并对比了在模式相关损耗影响下LMS算法和MMSE-SIC算法的工作性能,分析了两种算法的缺陷和应用场景,为之后的实验中MIMO算法的选择提供参考。4、利用三模式渐变折射率少模光纤和模式选择性光子灯笼搭建了模分复用传输实验平台,测量了模式选择性光子灯笼的耦合矩阵,研究了该器件对于光信号的偏振敏感性。随后,在模式信道强/弱耦合两种情况下分别利用非简并模(LP_{0 1}+LP_{11 a})信道和简并模(LP_{11 a}+LP_{11 b})信道完成了2?2的16QAM传输实验,符号速率为12.5GBaud,并利用仿真平台中建立的DSP模块结合LMS蝶形滤波器对信号进行MIMO处理,取得了强/弱耦合情况下接收信号的星座图和误码率曲线。实验结果显示,在信道中模式耦合强度得到控制的情况下,该系统能取得较为良好的传输效果。