发送端预编码与接收均衡是相对应的,最初提出预编码技术是为了简化接收机。现有的移动通信工作频段主要集中在6GHz以下,使得频谱资源非常拥挤,而毫米波频段(30GHz-300GHz)可用频谱资源丰富,其信号具有更短的波长,可以显著减少天线之间的间距,有利于天线部署,正好和Massive MIMO系统结合从而提供更好的波束赋形增益和复用增益。本文主要采用瑞利平坦衰落信道和毫米波信道应用场景,对Massive MIMO数字预编码和混合预编码展开研究,主要包括以下五方面的研究工作。1、详细阐述Massive MIMO系统的信道容量及预编码过程,介绍了典型的线性和非线性预编码方案,仿真验证了线性预编码在Massive MIMO系统中可以得到很好的频谱效率。仿真结果表明,对于瑞利平坦衰落信道,信道状态信息对预编码很重要,当具有不理想的信道状态信息时,系统性能明显下降。2、应用迭代法实现数字预编码中的矩阵求逆,以降低计算复杂度。在MM-MIMO系统中,相较于复杂的非线性预编码,采用简单的线性预编码就能达到理论上的最佳性能,由于矩阵求逆在高维数字预编码中计算复杂度很高,提高矩阵求逆算法的效率,将能明显降低数字预编码的实现复杂度,从ZF/RZF预编码矩阵可知,ZF/RZF预编码矩阵需要对信道求广义逆矩阵,频繁的矩阵求逆会带来计算量为O(N_t~3)的高复杂度运算,特别在大规模天线系统中,为了降低复杂度,利用需要求逆矩阵的特殊结构,将迭代法应用到数字预编码中实现矩阵求逆。仿真结果表明,与直接对预编码矩阵求逆相比,采用迭代法求逆的计算效率可提升70%以上。3、优化MRT预编码矩阵,在瑞利平坦衰落信道中得到其描述系统频谱效率、中断概率和中断容量的闭式表达式。本文通过MRT预编码的系统性能描述,结合ZF和MRT预编码,通过增强期望信号的信道增益,得到改进的MRT预编码(Improved-MRT)。仿真结果表明:(1)MRT和Improved-MRT预编码的干扰信号概率密度相同,关于Improved-MRT预编码中矩阵的求逆可以采用迭代求逆以降低系统的计算复杂度;(2)Improved-MRT预编码可以获得更好的频谱效率和中断概率;(3)在MATLAB平台上,Improved-MRT预编码相比MRT预编码,在同等条件下,可以同时多服务5到15个用户,并且其中断容量比MRT预编码的更好。4、实现典型的全连接和部分连接结构的混合预编码算法,对不同算法的频谱效率进行分析。针对全连接结构的混合预编码,本文主要介绍基于OMP混合预编码算法,针对部分连接结构的混合预编码,本文主要介绍基于SIC混合预编码算法,并将混合预编码算法、全数字预编码算法和模拟预编码算法进行仿真比较。仿真结果表明:(1)基于OMP的全连接预编码算法在RF链路数比较多的时候可以很接近全数字预编码,其复杂度相对较高;(2)基于SIC的部分连接结构的混合预编码算法的性能会有所损失,但是其复杂度较低,随着RF链路数的增加,其频谱效率也会有所增加。5、对于MM-MIMO系统中的混合预编码结构,混合连接结构的频谱效率优于部分连接结构但不如全连接结构。为了提高混合连接的混合预编码的频谱效率,首先利用SIC的原理得到理想条件下的最优混合预编码矩阵,然后利用梯度下降理论将最优混合预编码矩阵分解为数字预编码矩阵和模拟预编码矩阵,最后考虑模拟预编码矩阵的恒模约束条件并以最大化频谱效率为目标,利用交替最小化方法优化模拟和数字预编码矩阵。所提出的混合预编码设计算法基于混合连接结构,因而能量效率远优于部分连接的和全连接的混合预编码。同时,该算法不会增加混合连接的混合预编码的硬件复杂度且只少量增加计算量。仿真结果表明,该算法能提升混合连接的混合预编码的频谱效率,特别是当RF链路数大于数据流数时频谱效率的提升更加显著。由于分块不需要满足正交性,该算法比现有混合连接的混合预编码更适合实际应用。