随着手机等移动电子设备的逐渐普及,移动通信系统已从只需提供低速率的语音业务发展到了还需提供高速率高质量的视频等业务。目前第五代移动通信系统(5G,the 5th Generation)在紧张地部署和实验中,支持5G的手机等产品也逐渐发布。在未来,更多的智能穿戴设备将随着无线通信技术的发展进入人们的生活从而被广泛使用。然而,无线通信系统可以利用的资源如时间,空间和频率等,都已经被充分利用,难再有提升的空间。增大无线通信系统的系统容量成为了未来通信系统需要解决的一个关键问题。轨道角动量(Orbital Angular Momentum,OAM)波,因其具有螺旋的波前,理论上无限的状态以及不同状态之间的天然正交性,近年来得到了众多的关注且被应用到了无线通信领域,有望能够为无线通信系统提供一个新的自由度,从而提高通信系统的系统容量。本文首先介绍了轨道角动量的基本原理,说明了无线OAM波独特的能量空间分布特性和不同OAM状态间的天然正交性,总结归纳了OAM无线通信系统的研究现状。随后,将无线OAM波与多输入多输出(Mutilple-Input Multiple-Output,MIMO)系统结合并巧妙利用无线OAM波的能量空间分布特性,提出了一种OAM-MIMO系统。在OAM-MIMO系统基础上,对OAM无线信道进行建模,细化了OAM无线信道模型,使其更符合OAM波特性。仿真实验验证了OAM无线信道特性以及OAM波的应用对系统信道容量的提升。最后,将无线OAM波与广义空间调制(Generalised Spatial Modulation,GSM)技术结合,提出了一种新型的基于OAM波的广义空间调制系统,即OAM-GSM系统,并推导了系统信道容量,介绍了OAM-GSM系统的激活天线组合选择算法等。仿真实验验证了OAM-GSM系统较传统GSM系统拥有更高的信道容量。本文提出的OAM无线信道模型对轨道角动量的实际应用提供了一定的指导意义。同时,基于OAM无线信道模型,本文提出了OAM-MIMO以及OAM-GSM两种新型的无线通信系统,这两种系统均为将OAM波应用于无线通信领域提供了新的思路和方法。