随着现代科技的发展,人们对通信的传输容量提出更高的要求。对于传统的光通信技术而言,其通信容量已接近理论的极限,电磁波的频率、偏振、幅度、相位等维度都得到有效的开发,但空间维度还没有有效的利用,而轨道角动量(Orbital Angular Momentum,OAM)光通信就是一种有效利用空间维度的通信方式。多路OAM模式复用传输能够进一步提升传输容量,但实际通信传输中OAM模式的正交性往往遭到破坏,模式之间会产生串扰。一种有效减小串扰影响的办法是采用多输入多输出(MultiInput Multi-Output,MIMO)均衡技术。本文的主要工作就是基于MIMO均衡技术的OAM模式复用传输,具体如下:(1)改进了MIMO均衡算法。改进均衡器中的误差函数,对光束的幅度和相位分别进行均衡。添加了均衡器之间的相干函数,解决了均衡器收敛到同一目标的问题。(2)仿真了小数阶OAM模式复用传输系统。提出了小数阶OAM模式的密集空分复用,研究了小数阶OAM模式在大气湍流中的复用传输,其过程会产生较大模式串扰,利用MIMO均衡技术减小了串扰影响并改善了系统通信性能。(3)仿真了贝塞尔OAM光束模式复用传输系统。计算了贝塞尔光束的自重构特性,并且在大气湍流中比较了不同OAM光束的复用系统的性能,结果显示贝塞尔OAM光束在自由空间光通信中具有一定优势。最后利用MIMO均衡技术改善了不同OAM光束复用传输系统的通信性能。