为了提高第五代移动通信技术(5G)的系统容量,毫米波和大规模多输入多输(Multiple Input Multiple Output,MIMO)被认为是未来的无线通信系统中最有吸引力的技术,它们可以将可用带宽和频谱效率至少提高一个数量级。毫米波频率处的载波波长较小,这使得可以通过具有高增益的大型天线阵列来进行波束赋形,以对抗定向传输带来的路径损耗。预编码技术可以定向发送信号并抑制数据流之间的干扰,因此在大规模MIMO系统中得到了广泛的应用。由于全数字预编码较高的实现复杂性和昂贵的硬件成本,在大规模MIMO系统中并不适用。因此,模拟和数字混合的预编码技术已经成为新的研究热点。本文研究了大规模MIMO系统的基本结构、信道模型和混合预编码技术。主要工作总结如下:1)针对完全连接结构,本文提出了一种近似最优的混合预编码方法。为了提高频谱效率,对数字预编码器施加了正交约束以分离预编码矩阵,并且获得了近似最优的混合预编码矩阵。2)为了进一步降低系统的复杂性,提出了一种具有部分连接结构的混合预编码。首先,利用串行干扰抵消(SIC)的思想将复杂的信道容量转换为独立的子容量,以便获得信道的最大系统容量。然后,应用众所周知的最小二乘法求解。仿真结果表明,所提出的混合预编码算法可以逼近部分连接结构的最佳性能,并且优于基于SIC的预编码算法。3)研究了混合连接结构的预编码设计,其中每个射频链路连接一个天线子阵列,每个天线子阵列的内部是完全连接的结构。仿真结果表明,混合连接结构的频谱效率介于部分连接结构和完全连接结构之间。混合连接结构的复杂性比全连接结构低,且系统性能高于部分连接结构。与全连接架构下的基于矩阵分解的混合预编码方案相比,本文提出的混合预编码算法性能更好。