大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)技术为毫米波通信系统提供了可观的阵列增益,引起了研究人员们的广泛关注。在大规模MIMO技术中,3D MIMO技术可以增加垂直域信息,能更好地满足人们对通信速率的需求。然而,随着MIMO系统规模的不断扩大,巨大的硬件复杂度和功耗使传统的预编码结构难以实现。为了既能降低系统硬件成本并保持令人满意的系统和速率,近几年人们广泛对毫米波通信系统的混合预编码结构进行了深入研究。但是,大多数的研究均假设采用无限或高分辨率的移相器,这在工程中是难以实现的,基于这一事实,本文提出了三种基于低分辨率移相器的混合预编码算法。首先,本文提出了基于反相器和自适应网络的混合预编码结构,即利用反相器实现1-bit分辨率移相器的功能,自适应网络为每个射频链连接最优的天线,然后基于该结构设计预编码算法。算法的模拟部分首先对天线进行分组,确定每个射频链相连的天线后,联合设计每个射频链和天线之间反相器的相位。预编码的数字部分通过迫零(Zero Forcing,ZF)预编码消除用户间干扰,仿真结果验证了该算法的优越性。其次,本文针对3D MIMO单天线多用户系统设计了基于克罗内克积的1-bit分辨率混合预编码,该算法利用毫米波3D MIMO信道可以写成水平域和垂直域信道克罗内克积的形式,分别计算各个域的模拟预编码,然后再通过克罗内克积相乘得到预编码。数字部分通过最小均方误差(Minimum Mean Square Error,MMSE)预编码降低用户间干扰,通过复杂度分析,所提算法复杂度和硬件复杂度都得了降低。最后,为了进一步的提升系统的性能,本文针对3D MIMO多天线多用户系统设计了基于克罗内克积的2-bit分辨率混合预编码,仿真结果表明该算法降低了算法复杂度并且能够获得更高的系统和速率。