对数据容量和频谱效率日益增长的需求加速了第五代通信（5G）的发展,MIMO技术结合合适的波束形成技术,能够显著提高频谱效率。为了降低MIMO技术带来的日益增长的射频硬件成本,最佳方案是将波束形成分配到数字域和射频电路中的混合波束成形结构。在最近提出的5G系统中,对射频链的需求急速增加,不仅扩大了发射机的体积,还产生了更强的非线性失真,因此需要采用有效的功率放大器线性化技术。本文研究了基于混合波束成形的非线性算法,主要内容和创新点如下:1、研究了基于SVD奇异值分解的全数字最优预编码,将其性能作为混合波束成形性能的最优值,并研究了基于正交匹配追踪（OMP）算法的波束成形,利用天线阵列的响应矩阵设计混合波束成形矩阵。在此基础上提出了一种基于共享型的混合波束成形算法,设计发射端的混合波束成形矩阵,使其尽可能接近全数字预编码的最优矩阵,然后根据混合波束成形矩阵调整接收端的混合合成矩阵,使系统的性能达到最佳,其频谱效率相比OMP算法更接近全数字预编码。2、在基于波束成形的发射机构架中,使用传统数字预失真方法补偿功放的非线性失真,需要为每个功放构造单独的数字预失真器,大大增加了系统的复杂度。针对这一问题提出了一种基于波束定向的数字预失真结构（BO-DPD）,利用所有功放的输出合成主波束信号,对主波束信号进行数字预失真处理,达到补偿非线性的目的,能够有效减小系统复杂度。同时,针对上述预失真结构需要采集所有功放的输出,系统的硬件成本较高这一问题,提出了一种基于单功放反馈正演建模的数字预失真结构（FM-DPD）,利用单个功放的反馈进行建模估计,估计出功放的输出信号进行预失真处理,补偿功放的非线性,大大降低了系统的硬件成本。3、在上文的基础上,使用自适应迭代算法对数字预失真器进行参数学习。针对传统LMS算法的收敛性能较差的问题,采用结合粒子群优化的PSO-LMS算法以及结合人工鱼群优化的AFSA-LMS算法进行参数学习,在补偿非线性失真的同时,加速算法的收敛速度。该优化算法也适合RLS算法。对比传统自适应算法,结合群智能优化的算法具有更快的收敛速度,并且相比结合粒子群优化的自适应算法,结合人工鱼群优化的自适应算法具有更快的收敛速度。