随着信息社会的发展,无线通信的传输速率需求呈指数增长。然而射频频谱资源日益紧缺,传统的无线物理层传输技术面临着巨大的挑战。为了大幅提高系统传输速率,一方面可以发展大规模多输入多输出(MIMO,multiple-input multiple-output)技术,显著提升现有射频传输频段的频谱效率以及功率效率,这一技术目前已成为5G移动通信的关键技术;另一方面需要挖掘包括光频段在内的更高频段的频谱资源,光无线通信技术利用光频谱这一超高频段,可以缓解射频频谱资源紧张,提高系统吞吐量,是一种极具潜力的无线传输技术。在大规模MIMO系统中,瞬时信道信息获取困难是制约其在典型移动场景应用的瓶颈因素;而在光无线通信系统中,信道的高相关性限制了系统性能的大幅提升。为了解决上述问题,本论文开展面向射频无线通信和光无线通信的大规模MIMO波束分多址无线传输理论方法研究。首先,针对射频大规模MIMO无线通信系统中,瞬时信道信息获取困难、系统实现复杂度高、对典型移动通信场景及典型频段的适应性等问题,提出波束分多址传输理论方法;进而研究多小区波束域传输中功率分配问题,证明了波束分多址传输的最优性,并提出快速有效的功率分配算法。随后,针对光无线通信系统中,信道高相关性导致系统复用增益低的问题,提出利用发送透镜的波束分多址传输理论方法,大幅提升单个基站的空间复用增益以及和速率等系统性能;进而提出在多基站网络通信中利用收发透镜的波束分多址传输理论方法,系统的传输自由度随着用户数与基站数线性增长。具体地,本论文的主要工作和贡献包括:1.提出了基于统计信道信息的大规模MIMO波束分多址传输理论方法。现有大规模MIMO传输方法中,基站侧需要利用瞬时信道状态信息(CSI,channel state information)进行下行预编码设计,难以适应中高速移动通信场景、FDD系统及高频段移动通信系统。针对这一问题,论文首先从物理信道模型出发,分析了大规模MIMO信道的空间特性,提出了波束域信道模型。在波束域信道中,不同波束对应不同的发送方向,且信道增益独立于宽带OFDM系统的子载波。基于波束域信道模型,推导了遍历可达和速率上界的闭式表达,由于遍历和速率上界仅与信道统计信息有关,因而计算复杂度低。继而,以最大化遍历和速率上界为目标,推导出最优下行传输的充分必要条件,提出了波束分多址(BDMA,beam division multiple access)传输理论方法。在BDMA传输方法中,基站利用统计信道信息为同时通信的用户分配互不重叠的波束集合,从而将多用户大规模MIMO信道链路分解为多个单用户小规模MIMO信道链路,显著降低信道估计的导频开销以及收发信号处理的复杂度。最后,在BDMA传输方法中,以最小化均方误差(MSE,mean square error)为准则设计最优导频信号,提出利用Zadoff-Chu序列生成最优导频信号。数值仿真结果表明BDMA传输理论方法逼近最优的性能,所提出的导频设计可以显著降低系统的误比特率(BER,bit error rate)。2.将BDMA传输拓展到多小区大规模MIMO无线通信系统,提出最优功率分配理论方法。在多小区大规模MIMO无线通信系统中,考虑每个基站仅知各自小区以及相邻小区用户的统计信道信息,同时服务数个多天线用户终端。随着基站侧天线数趋于无穷大,各用户信道矩阵的发送相关阵的特征矩阵趋于同一个酉矩阵,该酉矩阵仅与基站侧天线阵列的结构有关,与用户无关。利用各用户信道矩阵发送相关阵的特征矩阵将空间域信道变换到波束域,基站在波束域中传输多用户信号。考虑波束域传输中功率分配问题,实现最大化系统遍历和速率。当用户终端将用户间干扰当作等效噪声的情况下,多小区大规模MIMO下行传输的遍历可达和速率是两个凹函数之差。针对最大化多小区遍历可达和速率问题,首先从理论上得到最优功率分配满足的正交性条件,该结果表明基站在不同波束上发送不同用户的信号,且不同用户的最优传输波束互不重叠,即BDMA传输是最优的。随后,提出了有效的功率分配算法,该算法可以收敛到满足正交性条件的解。进一步,提出了基于确定性等同的功率分配算法,利用和速率的确定性等同表达,降低计算复杂度。数值仿真结果表明仅需几步迭代过程,所提功率分配算法就可以收敛到逼近最优的结果。3.提出了波束域大规模MIMO光无线传输理论方法。基站侧配置大规模光发送单元和发送透镜,利用单个LED阵列同时发送大量用户信号。首先,分析了光经过透镜折射的物理规律,建立了基于发送透镜的大规模MIMO光传输信道模型,单个LED发出的光经过发送透镜的折射汇聚成一个窄波束。当基站侧LED个数趋于无穷大时,不同用户的信道向量渐近正交。基于该信道模型,分析了大规模MIMO光无线通信系统中最大比发射(MRT,maximum ratio transmission)和正则化迫零(RZF,regularized zero-forcing)预编码传输的性能,并提出最大化和速率的线性预编码设计。进而,分析了LED个数趋于无穷大时渐近最优预编码设计,结果表明BDMA传输可以达到最大化和速率的渐近最优性能。与无发送透镜的设计相比,BDMA传输在总功率约束下可以提升和速率达2K倍,在单个LED功率约束下,和速率性能提升K倍,其中K为用户个数。另外,在LED个数有限的情况下,证明了波束域传输中最优功率分配的正交性条件,提出了简单有效的功率分配算法。数值仿真结果验证了波束域大规模MIMO光无线通信系统和速率性能的显著提升,在服务用户个数为484时,系统和速率性能可达2000 bps/Hz。4.将波束域大规模MIMO光无线传输拓展到多基站场景,提出了利用收发透镜的网络大规模MIMO光无线传输理论方法。多个基站均配置大规模LED阵列与发送透镜,同时服务覆盖区域内大量用户终端,每个用户终端配置大规模光接收阵列与接收透镜。建立了利用收发透镜的光传输信道模型,不同LED发出的光经过发送透镜折射到不同方向,当基站侧LED个数趋于无穷大时,同一个基站到不同用户的信道矩阵渐近行正交;在用户终端侧不同方向的光信号经过接收透镜折射到不同光接收单元,当用户终端侧光接收单元个数趋于无穷大时,不同基站到同一个用户的信道矩阵渐近列正交。进而,在总功率约束与单个LED功率约束下设计最优发送信号协方差矩阵最大化渐近和速率。从理论上揭示出最优发送策略均为不同LED发送相互独立的信号,且向不同用户发送信号的波束集合相互正交(互不重叠),BDMA传输具有渐近最优性。另外,分析了渐近情况下的网络大规模MIMO光无线通信系统的传输自由度。在两种功率约束条件下,系统自由度均随着基站数与用户数线性增长。数值仿真结果展示了4个基站服务500个用户时,系统频谱效率可达6500bps/Hz,同时,单用户平均速率达到13 bps/Hz。