近年来,以螺旋形波前相位表征的电磁波轨道角动量(OAM)因其展现出的巨大通信潜力而备受关注。作为电磁波的基本物理量,OAM为无线信息承载提供了额外的自由度,基于OAM的复用通信有望成倍提升无线通信系统的频带利用率。因此,建立合适的OAM复用通信系统模型,分析影响系统性能的各类潜在因素,探究OAM复用和其他通信方式结合的可行性具有重要意义。本文围绕毫米波频段的OAM复用通信展开研究,具体内容概述如下:(1)分析比较了射频域OAM电磁波生成和接收的几种方式,指出OAM通信可能潜在的问题,比如更大的发散角、收发天线偏离影响更大、大模态OAM波束接收困难等。针对上述问题,提出毫米波频段的OAM波束具有更优的传输性能,并从波束发散度、传输损耗、接收机的尺寸三个方面论证了该结论。(2)为了分析OAM复用通信系统的性能,挖掘影响系统性能的潜在因素,提出利用不同模态的螺旋相位片(SPP)构建OAM复用传输模型。系统发射端采用多个SPP和波束分束器实现不同模态OAM波束的同轴传输,接收端依次采用模态相反的SPP分离各路OAM波束。然后以系统容量为指标,对不同信道状态信息(CSI)条件下的OAM复用通信系统进行仿真分析,结果表明无论发射端是否已知系统CSI,OAM复用都不宜用作远距离通信。此外,发射端未知系统CSI时,系统性能严重受限于收发SPP的对准情况;发射端已知系统CSI时,系统性能主要受发射模态的影响。最后,针对OAM复用通信系统发射端模态选择问题,给出了最优模态选择策略,使得系统性能达到最佳。(3)针对OAM复用通信中大模态OAM波束传输增益小、接收困难问题等问题,提出将OAM复用与多输入多输出(MIMO)通信系统结合起来,构成全新的OAM-MIMO通信系统。然后以系统容量为指标,分析对比了OAM-MIMO通信系统和MIMO通信系统。仿真结果表明,短距离通信时,OAM-MIMO系统传输容量要高于MIMO系统,而随着传输距离的增加,OAM-MIMO通信系统的性能逐渐不如MIMO系统,这主要归因于OAM波束的传输增益随着传输距离增加呈指数级下降。此外,针对OAM-MIMO系统中信道间干扰问题,提出了一种基于恒模算法(CMA)的盲均衡干扰消除方案,仿真结果表明空分复用中的一些干扰消除手段同样适用于OAM复用系统以及OAM-MIMO系统。