随着移动通信质量的提高,大量的终端接入无线网络,导致移动数据流量迅速增长,同时终端用户也需要更好的网络体验。为了满足以上的通信需求,提高网络系统的容量和数据的传输速率,并降低通信时延成为通信亟待解决的问题。而毫米波通信具有较宽的带宽,可以有效解决当前通信面临的频谱资源短缺问题,并且能够提高数据传输速率。同时,毫米波较短的波长使得在基站端一个很小的设备中可以集成大规模多输入多输出（Multiple Input Multiple Output,MIMO）天线阵列,通过使用与大规模MIMO相关的预编码技术将信号辐射的方向对准目标用户附近,来提高频谱利用率和系统容量。因此,本文对毫米波大规模MIMO系统的预编码技术进行深入研究,具体内容如下:首先介绍了毫米波信号传播的特点和信道的数学结构。然后根据大规模MIMO技术的特点和对其系统信道容量的分析引入预编码技术对系统性能的影响。为了减少射频链和能量消耗,一般采用混合数字和模拟预编码,其中系统架构一般包括全连接和子连接。全连接结构的组成需要较多的移相器,虽然可实现较高的频谱效率较高,但在硬件实现难度和系统功耗上也会大大提高。而子连接虽然降低了移相器的数量,但其实现的频谱效率较低。所以本文基于混合连接对混合预编码方案深入研究。在混合连接系统结构中,通过奇异值分解（Singular Value Decomposition,SVD）来计算每个子阵的最优无约束混合预编码时,具有较高的复杂度。因此,论文提出了一种基于投影近似子空间跟踪（Projection Approximate Subspace Tracking,PAST）的低复杂度混合预编码算法来估计子阵的最优无约束混合预编码,从而避免了高复杂度的SVD过程。仿真结果表明,该算法在频谱效率上接近基于SVD的混合预编码,而随着发送天线的增加,PAST算法的复杂度和耗时远低于SVD。为了进一步提高混合预编码算法的系统性能,本文在混合连接和PAST算法的基础上使用交替优化（Alternating Optimization,AO）的思想对模拟和数字预编码矩阵进行设计。提出的混合预编码方案以最大化每个子阵对应的子速率作为优化目标,对子阵的数字预编码增加酉矩阵约束条件,模拟预编码的优化不再是直接采用最优无约束混合预编码的相位信息,而是将此相位信息作为初值,进行进一步的迭代搜索。仿真表明,本文基于AO思想提出的混合预编码方案在系统性能上高于基于SVD的混合预编码方案,并且相对基于PAST的混合预编码算法做出了较高的系统性能提升。