伴随着过去二十年中的指数型容量增长,波分复用成为数据光网络的重要技术形态。形成这种状况的一个重要原因就是持续飞速提升的数据网络流量。然而,近期的研究进展表明波分复用光传输的容量增长正在明显减速,而且其系统实验正在快速接近非线性光纤传输的仙农极限。少模光纤中的模分复用技术是一种崭新的光多输入多输出传输形式,并被人们期待为实现进一步提升光网络容量的重要潜在方案。在模分复用传输中,折射率的扰动可以引起不同光纤模式所承载的信号之间的耦合,并导致传输场分布发生随机化演变。此外,在这种传输方案之中存在有很多重要的理论和技术问题尚待了解和研究,诸如具有模式复用或解复用功能的光器件实现、多模式光放大、高串扰或低串扰状况下的少模光纤设计、少模光纤中的非线性效应等。在本论文中,通过关注于模分复用光传输中的随机模式耦合和传输光纤特性,我们提出并分析了若干种数学物理模型和技术探索方案。主要工作和创新成果包括以下几个方面：1.在特定的弱导少模光纤中两个LP11模式、两个偏振方向的传输场景中,提出并描述了偏振相关主模式的物理模型。概念验证性的数值仿真结果表明,尽管少模光纤中存在有随机的空间模式耦合和偏振模式耦合,但是偏振相关主模式可以同时避免一阶的模式色散和偏振模式色散。对于不同的输入偏振相关主模式中的脉冲传输而言,在对应的输出偏振相关主模式中脉冲的到达时间通常有所不同。这就保证了每个输入偏振相关主模式对应着一个具有最小化脉冲展宽的激励条件。在特定的少模光纤中双LP11模式、双偏振方向的光多输入多输出传输系统中,本文所提出的偏振相关主模式可以作为分析和控制由模式耦合或者模式色散所引起的信号失真的基础数学体系。2.在模式群分集复用光传输系统中,在忽略模式群间串扰而仅考虑模式群内串扰的基础上,并从光纤传输矩阵观点出发,理论性地提出和描述了渐变折射率多模光纤中的群内主模式的物理模型。对于包括两个最低阶简并模式群(即三个最低阶光纤本征模式)的模式群信道的概念验证性数学计算表明,群内主模式为渐变折射率多模光纤中具有最小化信号失真的模式群分集复用信道提供了潜在可能性。对于此类强度调制、直接检测多模光纤链路中的模式群信道而言(尤其是当一个模式群信道可以支持更多数量的毗邻高阶模式传输时),群内主模式概念具有频率无关的群时延和传输距离的延长等潜在优势。3.通过将无线信道中的多路径衰落和多模光纤的多模式性质作出类比性分析,并在忽略模式间耦合的情况下,理论研究了相干光多输入多输出多模光纤链路中的容量提升和空时分组码应用。数值仿真结果表明,空时分组码技术可以被用来改进上述链路的误码率特性。此外,我们对若干种采用多个发射端或接收端的多模光纤传输方案做出了比较性分析,并进一步给出这些方案的误码率-光信噪比函数关系。4.通过采用长周期光纤光栅实现正交的LPo1和LP11模式之间的模式转换,数值仿真证明了在70km双模式微结构光纤中实现2×6-Gb/s模分复用光传输过程。仿真结果表明该传输方案具备可忽略的模式串扰和低于1.86dB的功率代价。此外,对一个宽带色散补偿微结构光纤中基模所承载的模式功率分布做出了近似性实证分析。通过将完善的传统光纤理论拓展至微结构光纤,定义了纤芯区域中模式功率分数。基于与传统光纤概念体系的物理一致性,系统化分析了波长和光纤结构参数对于微结构光纤的基模模式功率分布特性的影响。