Massive MIMO是第五代移动通信中的关键技术。然而,无线通信系统中射频链路的能耗仍然过高,传统纯数字波束成型在Massive MIMO系统中显得难以实现。由于纯数字波束成型要求每根天线配备一条独立的射频链路,这将导致Massive MIMO系统中射频链路数量过多,成本过高,能耗负担过重的问题,与5G的“绿色通信”理念背道而驰。为了降低射频链路数量,使5G的关键技术Massive MIMO和5G“绿色通信”相兼容,混合波束成型技术应运而生。本文通过对混合波束成型技术的研究,以远少于天线数的射频链路数为前提,以纯数字波束成型的频谱效率为目标,设计了两种高性能的混合波束成型解决方案。除此之外,本文将第二种解决方案推广到了基于部分连接和重叠子阵结构的混合波束成型中。本文主要工作及创新点包括以下几个方面:1)在混合波束成型技术模拟部分优化中,提出了收发端解耦迭代的优化算法。根据注水法容量表达式,本文将混合波束成型设计问题解耦为模拟和数字两阶段设计问题。第一阶段,通过最大化等效信道特征值之积设计模拟部分;第二阶段,把MIMO信道和模拟部分一起看作等效基带信道,用传统纯数字波束成型算法设计数字基带部分,处理用户间干扰。在该模拟数字两阶段优化框架下,本文通过最大化等效信道的特征子信道增益之积,设计模拟部分。首先,通过把复数非凸优化问题转化为实数凸优化问题,得到模拟合并矩阵每个元素的局部最优解,并通过迭代收敛确定每个模拟合并矩阵;然后,根据确定后的全局模拟合并矩阵,用同样迭代方法优化模拟预编码矩阵;最后,将MIMO信道和模拟部分一起看作等效基带信道,用传统纯数字波束成型方案设计基带数字部分,处理用户间干扰。2)在混合波束成型技术模拟部分优化中,提出了收发联合迭代的优化算法。在模拟数字两阶段设计框架下,不同于现有研究中常见的模拟部分收发解耦优化思路,本文提出了一种模拟部分收发联合优化的混合波束成型方案,进一步提高频谱效率。本文假设收发端射频链路数量相等,将原模拟部分目标函数转化为等效基带信道的行列式。对于该双矩阵联合优化问题,本文根据列迭代思路,把收发两端成对射频链路对目标函数的影响独立出来,并将双矩阵联合优化问题拆分为多个双列向量对的独立优化和迭代收敛子问题。由于待优化元素幅度恒定、相位可调,子目标函数最大化问题转化为两恒幅复数相位对齐问题,待优化元素局部最优解就是两恒幅复数的相位差。仿真结果表明,当射频链路数量等于数据流数,即射频链路数量能满足数据流复用,该算法就能达到其最大频谱效率。因此,该联合迭代优化算法特别契合Massive MIMO系统降低射频链路数量的需求。3)在基于重叠子阵结构的混合波束成型中,提出了基于部分连接和重叠子阵结构的混合波束成型方案。为了权衡全连接和部分连接结构,对性能和能耗折中,本文还提出了重叠子阵结构,并将模拟部分收发联合迭代优化的混合波束成型方案,推广到部分连接和重叠子阵结构。具体地,在原目标方程基础上,将新连接结构对目标函数的限制表现在约束条件中。然后沿用列迭代变形,将收发端成对射频链路对目标方程的贡献独立出来,并把双矩阵联合优化问题分解成多个双列向量联合优化问题,最后通过迭代局部最优解至收敛,确定混合波束成型模拟部分。实验仿真方面,该联合迭代方案在部分连接结构下,相比现有算法在频谱效率和能量效率方面有十分可观的性能优势;该算法在重叠子阵结构中既能保证较高的频谱效率,又能保证较高的能量效率;在低信噪比情况,特定重叠子阵结构能实现频谱效率和能量效率对现有混合波束成型方案的双重超越,在5G“绿色通信”方面相当有应用前景。