光纤通信作为一种大容量、私密性高、信号传输质量好的通信方式,在信息化社会中扮演着重要的角色。但是现有的光纤通信系统已经难以满足人们对于高带宽、大容量的通信网络的需求,亟需推动光纤通信技术革新,以提升系统容量。基于少模光纤的模分复用技术被认为是最有潜力的方案,它将少模光纤中相互正交的模式作为独立传输的信道,可以成倍的提高系统的传输容量。在模分复用通信系统中,需要使用模式复用器/解复用器将各个模式耦合到少模光纤中,因此一个设计良好的模式复用器/解复用器是必不可少的。同时,为了在接收端有效地接收信号,还需要采用算法对接收信号进行解复用。本文的主要研究内容为模式耦合技术和接收端信号的解耦合算法。研究了采用光纤波导的模式选择性耦合器的工作原理及设计和基于独立向量分析（Independent Vector Analysis）的信号盲均衡算法。本文主要工作内容总结如下。首先分析模分复用技术的基本原理和概念。以Maxwell方程组为基础,推导模式的划分、模式正交性和耦合模方程。最后分析信号在传输过程中遭受损伤的机理,对模分复用系统建模,采用传输矩阵方式表示模分复用系统信道。根据建模,分析了瞬时耦合信道和卷积耦合信道两种耦合模型,并分析了常用的MIMO均衡算法并同ICA和IVA算法进行对比。其次,设计模式选择性耦合器,使用有限元仿真仿真软件COMSOL和波束传播软件Rsoft对模式选择性耦合器进行仿真,得到模式电场分布和耦合器的能量转移过程。针对接收端MIMO均衡算法,通过分析代价函数和代价函数的优化方法,推导出ICA和IVA的迭代公式,在IVA的基础上提出基于可变Kaiser窗的IVA算法。通过仿真,比较两种算法在瞬时耦合信道和卷积耦合信道中的性能,同时证明了提出的改进算法同传统算法相比有性能上的提升。最后搭建了基于模式选择性耦合器的2×2模分复用通信系统实验平台,支持LP₀₁和LP₁₁两个模式作为独立信道传输,给出了实验结构图并进行实验。证明了普通时域ICA算法不适用于实际信号均衡,而在频域处理信号的IVA算法在实际系统中的效果较好。利用实验数据还证明了第三章提出的基于可变Kaiser窗的IVA算法在误码性能上比传统算法有提升。最后,还利用实验数据探究了影响IVA算法性能的因素,为未来算法的改进奠定基础。