光波的基本维度资源包括幅度、相位、偏振、时间、波长/频率和横向空间分布。目前,对光波的偏振、时间、幅度/相位、波长/频率等资源的利用已经接近极限。除了这些传统的光波维度外,光波还具有横向空间维度。利用空间维度,增加空间中并行信道个数可有效提升传输系统的通信容量,突破现有技术容量极限,实现光通信的可持续扩容。具有特殊的横向空间分布的光束又称为特种光束,由于其特殊的物理性质,已经在光学领域吸引了广泛的关注。目前,已经有多种类型的特种光束在自由空间及光纤中被研究报道。在光通信中,特种光束不仅可以用于模式复用以提升通信容量,其独特的性质也可以让通信系统变得更为灵活。本文在特种光束的产生及在光通信中的应用方面开展了一系列理论和实验应用研究,具体内容如下:（1）理论和实验研究了自由空间中特种光束的产生及在自由空间光通信中的应用。（1）实验研究了利用两个纯相位型的空间光调制器实现对空间光场振幅和相位的同时调控。利用这种方法,在实验中产生了各种类型的特种光束如贝塞尔光束,拉盖尔高斯光束,多涡旋光束以及具有特殊强度分布的光束。（2）理论研究了单一相位元件产生多个共轴传输的涡旋光束。通过利用基于模式搜索算法的相位迭代算法,在仿真中实现了多达100路随机间隔分布和50个等间隔分布的涡旋光束的同时产生,并且可以通过算法调节每个产生的涡旋光束的相对功率。（3）通过使用研究的基于模式搜索算法的相位迭代算法,在实验中产生了10路贝塞尔光束进行广播通信。同时,在实验中验证了贝塞尔光束的自恢复特性。在路径中有障碍物的情况下,贝塞尔光束可恢复原始场分布成功通信,实验测得误码率小于1e-3。（4）实验研究了弯曲光束的产生及其在通信中的应用。在实验中成功演示了自由空间任意弯曲光束通信。此外,还在实验中展示了自由空间弯曲光束通信的多种功能,包括躲避障碍物传输、自恢复传输、自断裂轨迹传输和多用户信息传输。实验结果表面弯曲光束可使自由空间光通信更为灵活,稳定和多功能。（2）实验研究了传统少模和多模光纤中特种光束的通信。（1）研究了少模光纤中线偏振（LP:linearly polarized）模式和涡旋光模式的传输性能,在实验中利用LP模式和涡旋光模式在1.1 km少模光纤中进行模式编码通信,并成功实现图像传输。（2）为了提升模式编码速率,研究了利用强度调制到模式编码调制的映射来实现高速模式编码,并且在2.6 km传统OM3多模光纤中实现了10 Gbit/s的模式编码传输。（3）分析了传统多模光纤中涡旋光束特性,进行了多模光纤中涡旋光束信息传输研究,成功在传统多模光纤中传输了4个不同的涡旋光束OAM（orbital angular momentum）模式(OAM_0,1,OAM_+1,1,OAM_+2,1,和OAM_+3,1),并且进行涡旋光束复用信息传输,传输速率达到40 Gbit/s。（4）通过结合传统多模光纤和传统少模光纤,实现了异构光纤网络的涡旋光束复用传输,传输速率达到40 Gbit/s。（3）实验研究了新型椭圆芯和环形光纤中的特种光束通信。（1）研究了低模式串扰椭圆芯少模光纤,此光纤支持两个LP特种光束模式,且两模式间串扰小于-18 dB。同时,实现了1.1 km光纤中LP模式特种光束20 Gbit/s的超快编码传输。实验结果表明通过两路模式编码传输信号相减可以进一步提升系统传输性能。（2）研究了具有特殊渐变折射率分布环形OAM光纤,此环形光纤支持5个涡旋光束模群,且模群间有效折射率较大,模式串扰较小。在实验中研究了18 km高阶涡旋光束的低串扰模式复用传输。结合波分复用技术,实现了8.4 Tbit/s的高速信息传输。（3）为了进一步为长距离涡旋光束光纤通信做准备,提出并实验论证了长距离环形光纤中的涡旋光束分布式拉曼放大传输系统。在1530 nm到1565 nm的范围内,两个OAM模式的最大开关增益为3.5 dB,不同模式增益差在0.3 dB以内。在所有多路OAM模式复用通道中,具有拉曼增益的光信噪比相比无拉曼增益高1.2 dB。实验结果表明,长距离OAM环形光纤中的分布式拉曼放大传输系统具有良好性能,对长距离OAM模式复用通信提供了一个潜在的解决方式。