现如今通信技术越来越多地深入人们生活的方方面面,对通信资源的需求也以爆炸性的趋势不断增长,这就要求更好地利用通信资源,小小区的部署就是其中不可或缺的一个方面。为了减少小小区之间的干扰,不仅要从传统的时域和频域进行研究,合理利用空域信息也是不可或缺的。大规模天线阵列就是一项有效利用空域信息的技术,该技术的发展使得三维波束成形的实现成为可能。三维波束成形是E-UTRA的进一步演进(Long Term Evolution-Advanced, LTE-A)移动通信系统中的一项关键技术,是一种高效的用户特定传输方案。本文首先对波束成形技术进行了概述,给出了实现波束成形的系统结构和一些常用的准则,并引入了天线阵列接收信号的普适模型。基于以上基本知识再进一步介绍了实现有效波束成形的基础——到达角(Direction of Arrival, DOA)估计技术的一些传统方法,尤为详细地分析了一种适用于大规模天线阵列的最小二乘ESPRIT (Total Least Squares-Estimation of Signal Parameters via Rotational Invariance Techniques, TLS-ESPRIT)算法,该算法基于的阵列模型是二维矩阵。之后,本文将最小二乘的ESPRIT算法与正交频分复用(Orthogonal Frequency Division Multiplexing, OFDM)算法结合起来,提出一种适用于多径多用户条件的到达角信道联合估计算法,仿真结果表明,该算法能有效抵抗多径和天线阵列接收信号相移的影响。本文提出了一种无线通信系统中用于基站端的双层结构波束成形算法。该算法同时利用了智能天线(Smart Antenna, SA)技术和多输入多输出(Multiple-Input Multiple-Output, MIMO)技术两者的优势,不仅提升了传输速度,也提高了运算精度和系统性能,且适用于时分双工(Time Division Duplex, TDD)和频分双工(Frequency Division Duplex, FDD)两种系统。最后,本文针对目前基于大规模天线阵列的混合波束成形技术的不足,在密集多用户的条件下提出一种高角度分辨率混合三维波束成形算法,这种算法同样适用于TDD和FDD两种系统。与现有的混合波束成形算法比较,该算法能降低系统的成本和复杂度,且能够有效实现密集用户环境下的三维波束成形,减小用户终端之间的相互干扰,提高系统的可达速率。