随着高性能处理器和嵌入式操作系统等技术的迅速发展,灵活轻便的智能设备开始融入到人们的生活中,广泛应用于各种场合,并逐渐改变着人们的生活方式。在过去的几十年里,人与人、人与物、物与物信息交互的需求从来没有像现在这样迫切。随着信息交互数据量的快速增长,当前移动通信网络逐渐无法满足用户的需求。在潜在市场的巨大需求下,第五代移动通信技术(5G)引起了研究者的广泛兴趣。5G关键技术包括网络关键技术和无线关键技术。其中,在无线关键技术里面,大规模MIMO(Massive MIMO)和全双工(Full-Duplex)技术逐渐成为学者们的研究热点。大规模MIMO和全双工技术都可以提高频谱效率。通过部署大规模天线阵列,可以有效提升移动通信网络的系统容量及抑制干扰和噪声的能力。从本质上看,这主要是由于大量独立的天线提供了更多空间自由度或者并行子信道,同时天线阵列形成更窄更强的波束,提高了天线的发射和接收增益。研究结果表明,大规模MIMO的频谱效率随天线数量的增加而以对数规律增长。当天线数目比较多时,采用简单的线性波束赋形方法,比如MRT/MRC和ZFR/ZFT,就可以获得非常好的效果。由于天线连接独立的接收和发射单元,当其中一个或几个射频链路出现故障时,系统的性能只会略微下降,不会导致业务的全部中断。因此,相比单天线SISO及普通MIMO系统,大规模MIMO可以大幅提升系统可靠性。全双工技术采用的是同时同频双向传输模式,实现双向通信。由于无线收发机在接收信号的同时会受到自身发送信号的干扰,在全双工技术中,如何抑制自干扰,是实现正常通信的关键。一般情况下,全双工无线收发机的发射天线和接收天线之间会通过物理隔离方法减轻自干扰的影响。虽然物理隔离可以大幅降低干扰,但相对于来自远端无线设备的有用信号来说,自干扰仍然过大。不过,由于干扰来自于本身,从本质上讲自干扰信号是已知的,采用模拟或数字干扰抵消方法可以进一步抑制自干扰的影响。通过一系列的处理,全双工系统的频谱效率会明显高于传统的TDD和FDD半双工系统。本文主要研究了全双工大规模MIMO系统。首先讨论了共享天线全双工大规模MIMO系统的频谱效率,然后研究了通过信道估计获得不完全信道状态信息情况下的系统自干扰的处理方法,并对混合天线全双工大规模MIMO系统做了讨论,最后研究了共享天线的全双工中继模型,分析了系统中用户的功率分配问题。论文的主要研究成果有以下几个方面:1.提出了一种共享天线(Shared-Antenna)全双工多用户大规模MIMO系统,该系统同时具有大规模MIMO和全双工系统的优点,即较高的频谱效率和上下行信道的互易性,同时降低了大规模MIMO系统的射频单元硬件成本。在采用MRC/MRT和ZFR/ZRT等线性信号处理方法的基础上,证明了即使该系统中上下行信道状态完全相关,仍然可以通过增加基站天线数量来抑制全双工系统中的自干扰。不同于分离式(Separate-Antenna)全双工大规模MIMO系统,共享式全双工大规模MIMO系统的自干扰抑制能力与阵列中天线数的平方根成正比。推导了该系统上下行链路可达速率的下界,该下界十分接近蒙特卡洛仿真结果。比较了该系统和TDD半双工系统的性能,当天线数目足够大时,共享天线全双工大规模MIMO系统的性能明显优于半双工系统。(上述创新点对应论文的第二章和发表论文列表中的2)2.研究了共享天线全双工大规模MIMO系统上行链路的频谱效率。不同于分离式全双工大规模MIMO系统,该模型中假设自干扰信道中存在直接链路(LOS)。证明了在采用线性信号处理方法抑制自干扰的同时,莱斯自干扰信道会转变为瑞利信道。提出了一种上行链路可达速率的近似分析方法,获得了上行链路的非常简洁的闭合表达式,并且该方法只依赖于信道状态的分布信息(CDI),而不是瞬时信息。该近似值非常接近于蒙特卡洛仿真结果。(上述创新点对应论文的第三章和发表论文列表中的5)3.在信道状态信息(CSI)估计不完全的情况下,研究了共享天线全双工大规模MIMO系统上行链路的频谱效率和能量效率。证明了在获取到不完全CSI的情况下,基站侧的自干扰仍然可以采用线性处理方法进行抑制。设计了一种自干扰抵消方法,通过对自干扰等效信道的预先估计,在获取到干扰信道的状态信息后从总干扰中减去该干扰信号,再通过大规模天线线性方法处理残余干扰,大幅降低了自干扰的强度。基于该方法,系统可以获得比LALP方法高36 dB的自干扰抑制能力。在对干扰信道进行估计时,提出了一种自干扰信道预编码方法,大幅减小信道估计的计算量。推导了不完全CSI情况下的上行链路可达速率的下界,该下界非常接近于蒙特卡洛仿真结果。在此基础上,还分析了基于信道估计时间长度和用户发射功率的最优频谱效率和能量效率。(上述创新点对应论文的第四章和发表论文列表中的3)4.提出了一种共享式和分离式天线混合的全双工大规模MIMO系统,在采用MRC/MRT和ZFR/ZRT等线性信号处理方法的基础上,分别推导了该系统上下行链路可达速率的上界和下界。该模型允许用户工作在全双工模式和TDD半双工模式。由于下行链路容易受到用户自身和用户之间发射信号的影响,自干扰会随着系统负载的变化而发生改变,在系统负载较轻和过载时,讨论了用户双工模式的选择对系统频谱效率的影响。(上述创新点对应论文的第五章和发表论文列表中的4)5.提出了一种双向全双工大规模MIMO中继系统模型。不同于已有的分离天线阵列中继系统,该系统采用一副共享式天线阵列。该模型采用信号放大转发(AF)方式和MRC/MRT及ZFR/ZFT线性信号处理方法。证明了该类系统中环路自干扰(LI)可以看做类似于独立同分布的加性零均值高斯白噪声。推导了基站发射功率和信噪比的渐近表达式。当天线数目足够大时,推导出了简洁的闭合形式的可达速率表达式。在此基础上,采用拉格朗日乘子法解决了相同大尺度衰落情形下的用户发射功率分配问题。对于任意大尺度衰落情形,采用遗传算法(GA)优化了用户的功率分配,在用户的总功率约束下,实现了频谱效率和能量效率的最大化。(上述创新点对应论文的第六章和发表论文列表中的1)