随着科技与社会的发展,人们对于数据传输容量提出了更高的要求。为了满足日益增长的数据传输容量需求,在光纤通信系统中,各种复用技术已经被广泛应用。其中,轨道角动量（Orbital angular momentum,OAM）模式复用作为空分复用（Spatial division multiplexing,SDM）技术的一种新方式,不同的OAM模式具有正交性,理论上具有无穷的拓扑荷数,可极大地提高光纤通信系统的传输容量。为了实现OAM模式的长距离传输,高性能的涡旋光纤放大器在光纤通信系统中起到了非常重要的作用。本文从提高支持OAM模式稳定传输的数量,减小差分模式增益（Differential mode gain,DMG）与噪声系数（Noise figure,NF）,以及保证长距离传输中OAM模式质量方面,对涡旋光纤放大器的性能进行了研究。主要内容如下:（1）介绍了OAM模式理论与掺铒光纤放大器（Erbium-doped fiber amplifier,EDFA）的理论模型,推导得到了计算OAM-EDFA噪声系数的计算公式。（2）设计了一种环形芯部分掺铒的光纤结构,结合速率方程,研究了OAM模式增益、DMG与NF随光纤长度、泵浦功率、信号输入功率以及掺铒分布与浓度的变化。结果表明,在C波段（1530～1565 nm）,该光纤可以支持22个OAM模式稳定传输,有效折射率差均大于10^-4。并且,通过对上述各个工作参数的优化,提高了该光纤放大器的性能,可以使所有OAM模式增益在整个C波段都大于20.39d B,DMG小于0.03 d B,NF小于3.8 d B。（3）基于所设计的OAM光纤,研究了该光纤的弯曲对于传输OAM模式数量的影响,以及OAM模式损耗系数与弯曲半径、信号波长之间的关系。结合速率方程,研究了环形芯光纤在弯曲状态下,其光纤长度、弯曲半径和信号波长的变化对光纤放大器增益特性的影响。结果表明,在光纤弯曲半径为5 mm时,仅支持10个OAM模式稳定传输（|l|=1、2、3）。在光纤长度为8.5 m,弯曲半径为5 mm时,l?3的OAM模式增益大于23.4 d B,DMG小于0.2 d B,NF小于5.6 d B。与目前所报道的研究成果相比,本文提出的涡旋光纤放大器具有更低的差分模式增益与噪声系数。本文对涡旋光纤在弯曲状态下的增益特性研究,对于涡旋光纤的实际应用具有一定参考价值。