互联网数据业务的快速增长,如高清视频流、云计算、大数据分析以及智能网络通信等,要求通信网络必须提供更大的传输带宽和更高的网络速率以满足用户的需求,这对现有的通信网络提出了新的挑战。作为骨干网通信的核心组成部分,光纤通信一直保持着技术革新。为提高单模光纤链路的通信容量,人们已经利用了幅度、相位、时间、波长以及光场的偏振态对单模光纤进行了扩容。但由于存在非线性效应的影响,基于单模光纤的通信系统容量已经不断接近其理论非线性香农极限。目前,通过利用少模光纤的空间维度实现对系统容量的扩充是研究的热点。模分复用(MDM)技术利用了少模光纤的多个空间模式作为信号的载体,在一根纤芯中同时传输多路信号实现了信道容量的成倍提升。然而,在实际的传输中由于受到光学器件,如光纤自身、光功率放大器、模式复用/解复用器等不完美特性的影响,模式间的正交受到破坏,造成不同的数据通道产生非酉串扰。MIMO数字信号处理技术是解决模分复用系统中模式串扰的措施之一。本文针对模分复用系统,重点研究利用MIMO空时编码和信号检测技术抑制模式相关损耗(MDL)。具体工作如下:第一,建立具有累积MDL损伤的长距离模分复用系统链路模型,验证了不同耦合强度以及模式加扰效应对MDL的抑制作用。分别将垂直分层码,正交空时块码和线状代数码(TAST)空时码方案应用在MDM系统中,比较了这三种空时码在最大似然(ML)检测条件下对MDL的抑制效果,综合考虑其性能与传输速率,TAST码可以作为对抗模分复用系统中MDL的有效方案。然而ML检测所具有的指数级复杂度限制了其实际应用。为设计低复杂度的检测算法,对目前已有的几大类MIMO检测算法:线性检测、干扰消除(IC)、树搜索、格基缩减(LR)、半定松弛和概率数据关联进行了系统的分析,并测试这些检测算法在模分复用系统中的性能。第二,针对现有MIMO检测算法在基于TAST编码的MDM系统应用中存在的性能或复杂度方面的缺陷,首先研究了无线MIMO信道与MDM信道之间的差异性,在此基础上分析了基于IC和基于LR的MIMO检测算法用于提升MDM系统性能的可行性。随后根据对TAST解码等效信道的正交性以及满分集特性的研究,提出了一种混合IRS-DFE检测方案。该方案有效利用了判决反馈(DFE)检测在TAST等效信道中的优势,对IRS算法的搜索集合进行了优化。仿真结果表明,提出的IRS-DFE信号检测方案能够实现近似ML检测性能,且保持了较低的计算复杂度。此外,该检测方案还可以根据信道状态的好坏,调节搜索集合的大小,实现性能与复杂度的折中。