毫米波通信是第五代移动通信技术(5G)的关键技术之一,引起了广泛的研究与关注。由于毫米波频段具有高路径损耗、低穿透能力等特性,毫米波通信需要结合大规模多输入多输出(MIMO)技术,利用大规模天线阵列,通过波束赋形技术得到强增益,以抵抗高的路径损耗和信号衰减。全数字波束赋形需要系统提供与天线数相同的射频链路数,带来了高成本和高功耗。为解决这一问题,提出了混合波束赋形技术,其结合了数字域和模拟域波束赋形,有效地减少了射频链路数,降低了系统实现复杂度。目前,尽管有不少针对混合波束赋形技术的研究,但设计适用于毫米波通信的最佳混合波束赋形算法仍是一个开放性的问题。针对单用户毫米波通信场景,空间稀疏混合波束赋形算法性能接近全数字波束赋形,但计算复杂度较高;针对多用户毫米波通信场景,基于非码本的等效信道混合波束赋形算法性能良好,但适用场景有限,不能充分利用系统的链路资源。为解决上述问题,本文分别提出了低复杂度的单用户混合波束赋形算法和基于贪婪思想的多用户混合波束赋形算法。低复杂度的单用户混合波束赋形算法利用模拟波束集的正交特性,避免矩阵求逆运算和循环迭代过程,降低传统空间稀疏混合波束赋形算法的计算复杂度。通过研究分析毫米波信道中天线阵列响应向量的渐进正交性,提出了渐进稀疏正交匹配追踪(AS-OMP)算法,该算法随着天线阵列规模的增大,不断逼近空间稀疏混合波束赋形算法性能。由于AS-OMP算法性能受天线规模的制约,进一步提出了基于施密特正交化的混合波束赋形(GS-HBF)算法,该算法结合了低复杂度的施密特正交化方法,通过设计正交的模拟波束集,降低了计算复杂度,适用于具有一般大规模天线的毫米波场景。通过计算复杂度分析和仿真实验表明,提出的算法在较低的复杂度下获得了与传统空间稀疏混合波束赋形算法十分接近的性能,更适用于毫米波系统。基于贪婪思想的多用户混合波束赋形算法将多用户混合波束赋形设计问题转化为矩阵因式分解优化问题,然后利用贪婪算法求解混合波束赋形矩阵。该贪婪算法的实现不依赖于天线阵列结构,也不需要确切的信号到达角和离开角信息,其通过奇异值分解不断减小残差更新模拟波束赋形矩阵。为降低计算复杂度,该算法利用相位提取技术提供模拟波束赋形矩阵的初始解,通过少量迭代得到完整的模拟波束赋形矩阵,然后基于等效信道思想求解数字波束赋形矩阵。同时为了避免线性全数字迫零(ZF)算法中涉及的矩阵求逆运算,结合干扰消除思想,提出了一种低复杂度的模拟波束赋形初始化算法。通过仿真实验及分析,表明了所提出算法的良好性能。