为了应对未来快速增长的数据传输需求和日益紧张的无线频谱资源之间的矛盾,移动通信系统需要进一步提高频谱效率。装备大规模天线阵列的多输入多输出(MIMO,Multiple-Input Multiple-Output)系统,拥有显著挖掘空间资源的能力,可以大大地提高系统频谱效率,已成为未来移动通信的核心技术之一。如果在大规模MIMO系统中使用传统的数字预编码方案,则系统要求每根天线都有其独占的射频链。为减少系统功率、硬件成本和复杂度,混合预编码凭借可以减少射频链的优点而成为大规模MIMO系统中的研究热点之一。混合预编码由模拟预编码和数字预编码模块组合而成,其中模拟预编码模块由于恒定幅度约束、复杂的电路架构和频率平坦性成为了研究的主要挑战。本论文针对大规模MIMO系统中的混合预编码技术,对自适应混合预编码方案、电路耗散、量化预编码和频率选择性信道中的混合预编码优化设计展开了研究。首先,本文研究了子连接混合预编码系统频谱效率性能,并依据系统参数提出了自适应混合预编码方案。在瑞利信道中,推导了子连接结构中基于MRT/ZF的混合预编码与纯模拟预编码遍历频谱效率的闭合表达式。依据推导的表达式,比较了混合预编码和纯模拟预编码的频谱效率性能,并分析了两种预编码性能优劣的系统参数条件。在推导出系统参数条件的基础上,给出了自适应的混合预编码算法流程,优化了混合预编码的系统性能。此外,还将相关结论引申到上行混合检测中,经理论和仿真验证,与下行链路中获得的结论一致。仿真结果说明,在瑞利信道中推导的结论在空间相关信道和5G仿真信道中也一样适用。然后,本文引入模拟器件网络的电路耗散并考虑了量化的影响,研究了子连接结构与全连接结构的频谱效率性能,分析了两者性能优劣的系统条件。混合预编码的模拟预编码模块由模拟器件网络实现,其中大量的功分器和合路器引入了电路耗散。我们在考虑电路耗散的前提下介绍了子连接结构与全连接结构的电路架构,分析了模拟器件网络对信号功率的影响。与现有其他研究不同,本文发现子连接结构(与全连接结构相比)在某些系统参数下既能获得更优的频谱效率性能,同时也能降低系统实现复杂度。此外,即使物理信道是独立的,经过模拟预编码的等效信道也会是相关的。因此,本文为等效信道反馈采用了基于信道统计量的量化,并证明了该方案比传统的随机矢量量化(RVQ,Random Vector Quantization)能提供更优的系统性能。最后,我们在正交频分复用(OFDM,Orthogonal Frequency Division Multiplexing)系统中,提出了交替最大化混合预编码框架,并给出了框架下的两种迭代混合预编码算法和一种闭式混合预编码设计方案。其中,模拟预编码采用了基于黎曼流形的共轭梯度法,而数字预编码使用了一种基于二阶锥规划(SOCP,Second-Order Cone Program)的迭代算法,组成了一种局部最优的混合预编码交替最大化设计方案。接着,将提出的局部最优化算法中的数字预编码方案替换为一种基于加权最小化均方误差(MMSE,Minimum Mean Square Error)的算法,可以得到另一种混合预编码交替最大化设计方案。特别地,当各用户权重相近时,证明了两种交替最大化算法的性能相近。此外,还提出了一种混合预编码的闭式算法,该算法应用信道矩阵分解(CMDD,Channel Matrix Decomposition Design)来设计模拟预编码而利用加权MMSE来计算数字预编码。该闭式算法虽然对比两种迭代算法有性能损失,但是降低了系统计算法复杂度。闭式算法的结果可以作为迭代算法的初始化,以减少迭代次数。仿真结果表明:为频率选择性信道提出的三种混合预编码方案法都具有优异的性能。