光纤中的受激布里渊散射（stimulated Brillouin scattering,SBS）由于其丰富的特性及广阔的应用前景成为了当前的研究热点。SBS是一种重要的声光耦合非线性效应,已广泛地应用于分布式光纤传感、光纤放大器和激光器、慢光、光学频率转换、射频信号处理等多个重要领域。普通单模光纤（single-mode fiber,SMF）中SBS的理论及应用已经被广泛报道。随着模分复用技术的发展,少模光纤（fewmode fiber,FMF）中SBS的研究备受关注。但到目前为止,具有不同偏振态的弹性波参与的涉及矢量高阶光学模式（higher-order optical mode,HOM）的模式内和模式间的声光耦合相互作用的机理与相关规律尚不明确。本文系统完整地研究和表征了不同矢量光学模式与具有不同偏振态的声学模式之间丰富复杂的声光耦合特性和布里渊增益特性,包含前向SBS（forward SBS,FSBS）和后向SBS（backward SBS,BSBS）。主要研究内容和创新点如下:1.与常见的SBS耦合波动方程及只考虑电致伸缩体效应的求解不同,在光弹性效应和移动边界效应两种机制下,详细推导了SBS声光耦合过程,分别得到了矢量光学模式和弹性波的光学和声学特性,求解了声光耦合系数,推导了生成光学力的表达式,表征了布里渊增益谱（Brillouin gain spectrum,BGS）中对应声学模式的每一个散射峰。该模型能够分析两种机制作用下的SBS的增强或减弱,具有广泛的适用性。2.揭示了在具有芯包高折射率差的阶跃型光纤（step-index fiber,SIF）中由具有横向和纵向位移分布的剪切声学模式（shear acoustic mode,SAM）诱导的BSBS。SAM与HE11基模的声光耦合在BGS中生成了位于新频率6GHz附近的多个散射峰。此外,研究了SIF纤芯的半径和折射率对SAM生成BGS的影响。3.研究并分析了在少模微纳光纤（few-mode micro-nano fiber,FMNF）中HE11模式、TE01模式、TM01模式和HE21模式分别作用的模式内FSBS,并比较了微纳光纤中HE11基模诱导的FSBS和BSBS,详细分析了声光耦合机制。一个或几个特定的具有GHz频率的较低阶横向声学模式（transverse acoustic mode,TAM）被激励分别与不同光学模式进行模式内FSBS,并主导BGS分布。激励的三类TAM的位移场和偏振态的分布具有规律性。在不同模式内FSBS中,比较了不同TAM对应散射峰的频率和峰值随FMNF半径的变化规律,研究表明在半径0.8μm左右,存在几个明显的布里渊增益最大值。4.研究了HE11基模的偏振态对FSBS和BSBS特性的影响。在微纳光纤中,当泵浦波和散射波中HE11模式的偏振态夹角θ在0到π/2范围内变化时,方位角数为M=2的激励声学模式对应的布里渊散射峰基本保持不变,但M=0的声学模式作用的布里渊增益峰值与θ总是具有（1+cos（2θ））项的确定函数关系。5.详细地研究并讨论了在FMNF中由不同矢量光学模式参与的模式间FSBS,并归纳了模式间选择性激励的声学模式的位移场分布规律。在HE11-TE01的模式间FSBS中,R11声模对应的布里渊散射峰格外突出,峰值可达260.5W-1m-1。当FMNF半径变化时,R11声模对应的布里渊散射峰在前向BGS中始终保持最高,比其他同时激励的声学模式作用的峰值至少高一个数量级。同时,R11声模的峰值可以比在模式内FSBS中得到的最大布里渊增益峰值高16倍。随着FMNF半径变化,声学模式TA02、R22和R21分别始终在TE01-TM01、TE01-HE21和TM01-HE21的BGS中对应最高布里渊散射峰。其中,考虑仅由TE01模式、TM01模式和HE21模式诱导的模式间FSBS,由R21声模与TM01-HE21光学模式对相互耦合的布里渊增益峰值最高。