第五代（5th Generation,5G）移动通信系统的关键指标之一是提升传输速率。毫米波拥有丰富的频谱资源,可以提升带宽。大规模多入多出（Multiple Input Multiple Output,MIMO）部署的天线阵列可以提高频谱利用率。因此,毫米波与大规模MIMO在5G研究中占据非常重要的地位。预编码是MIMO系统的核心技术之一,传统模拟预编码实现简单,但只支持单数据流传输,且性能较差,数字预编码能够扩展到多数据流,但是其限制了射频（Radio Frequency,RF）链数量。混合预编码结合了模拟预编码和数字预编码的优点,能很好的应用于大规模MIMO场景。本文围绕毫米波大规模MIMO混合预编码算法展开研究,主要工作如下:（1）首先,研究了毫米波传播特性,并介绍了适用于毫米波通信的信道模型。接着,分别推导了单用户和多用户大规模MIMO系统的频谱利用率。随后介绍了经典的MIMO系统预编码算法。（2）在单用户场景下,针对现有基于矩阵分解的混合预编码信道容量有损和复杂度过高的问题,提出了一种基于两阶段的低复杂度混合预编码算法。该算法分为获取最优数字预编码器和求解混合预编码器两部分。首先,联合奇异值分解（Singular Value Decomposition,SVD）与注水算法以容量无损的要求设计最优数字预编码矩阵。其次,以最大化频谱利用率为目标,设计混合预编码矩阵。为了降低搜索超完备矩阵列的复杂度,提出了两阶段混合预编码（Two-Stage Hybrid Precoding,TS-HP）算法求解混合预编码矩阵。通过复杂度分析和仿真验证,所提算法相比传统预编码算法复杂度更低,且具有更优的误码率（Bit Error Ratio,BER）性能和频谱利用率。（3）在多用户场景下,针对现有基于信泄噪比（Signal-to-Leakage-plus-Noise Ratio,SLNR）准则的混合预编码算法未考虑用户信道质量不同和信道矩阵具有病态性的问题,提出了一种联合SLNR与矢量扰动（Vector Perturbation,VP）的双层混合预编码算法。该算法分两层设计预编码矩阵。第一层,考虑到用户信道质量不同,提出了基于SLNR准则的匹配加权算法,充分考虑信道系数、预编码向量和组合向量的影响设计信道加权因子,利用加权因子对SLNR算法进行改进设计更优的混合预编码器,消除用户间干扰。第二层,根据第一层获取到的等效基带信道,利用迫零（Zero Force,ZF）消除用户天线间干扰,考虑到信道矩阵具有病态性,采用VP算法进一步进行处理,通过在发射信号上添加扰动矢量补偿发射端功率增大的影响。复杂度分析和仿真结果表明,相较于同类混合预编码算法,所提算法可以获取更好的BER性能和频谱利用率。