轨道角动量(OAM,Orbital angular momentum)模式复用可有效提升光纤信道容量,因此被提出应用到光通信中。因OAM在理论上具有无限多不同量子态的正交基,所以它可以提供一种新的复用机制,并且通过高维编码可以大幅度提升光通信容量。此外,OAM在其它领域已被广泛应用,而在光通信领域的研究也将推动OAM在其它领域的研究进展。目前,要在光纤中稳定传输OAM模式尚存在诸多问题,本文就其中两个问题做了详细的研究。其一,如何在光纤中稳定地传输OAM;其二,如何有效地激励光纤中的OAM模式。首先,针对OAM在光纤中的传输问题,本文提出了一个改进环光纤结构的办法,通过在原环光纤中引入一高折射率层,利用模式重组效应,增大了OAM模式之间的有效折射率差,减弱了模式间的简并现象。通过数值仿真,对该改进环光纤结构的参数进行了优化设计,最终实现了不同OAM模式间~310?的有效折射率差,从而可以有效地抑制传输过程中的模间串扰,改善环光纤中OAM模式的传输性能。其次,对于OAM模式的激励问题,本文提出在改进环光纤中利用螺旋光纤布拉格光栅(H-FBG,Helical fiber Bragg grating)进行OAM模式激励。推导了螺旋布拉格光栅的耦合模方程,揭示通过H-FBG实现OAM模式激励的机理;进行了初步的数值仿真,仿真结果显示,该结构可以激励起高纯度的OAM模式。