随着近年来移动用户数量的剧增和新型无线业务类型(语音、数据、图像)的出现,使得无线通信业务量迅速增加,移动通信系统中的同频干扰、多址干扰日趋严重,信号传输带宽和传输速率严重不足。又由于无线信号传输环境的复杂性和不确定性,严重的限制了移动通信系统的容量和性能。智能天线技术为解决频率资源不足、提高移动通信系统容量和系统服务质量提供了一个有效的解决途径,其主要任务是完成上行信号的滤波和下行波束的形成,这两个主要任务的完成都和自适应算法和数字信号处理技术紧密相关。自适应算法是智能天线的核心技术之一,它决定着智能天线对来波信号响应的速率和系统实现电路的复杂程度,系统需要针对各种通信环境来选择合适的算法,也可以采用算法分集的方法来使整个系统工作在最佳状态。本文研究的主要内容是智能天线中的关键技术之一,信号来波方向估计(DOA)的几类算法。首先介绍了智能天线技术的发展现状,基本工作原理、特点与优点。然后重点研究DOA估计算法中的多重信号分类(MUSIC)算法,旋转不变子空间(ESPRIT)算法和二维DOA估计算法。在MUSIC类算法中,比较了求根MUSIC和经典MUSIC算法,其中求根MUSIC算法相对于经典MUSIC算法大大减少了计算量并提高了估计精度。而当信号源相关时,本文又提出一种改进的MUSIC算法,能够有效的检测相关信号的来波方向;在ESPRIT算法中,为解决病态广义特征问题和提高估计精度,减小噪声功率估计不准确的影响,研究了基本ESPRIT算法,TLS_ESPRIT算法和基于空间平滑技术的ESPRIT算法;在二维DOA估计算法中,本文研究的快速DOA估计算法,有效地解决了参数匹配问题,为了更好的利用信号的空域和时域信息,研究了空时二维估计算法中的二维虚拟ESPRIT算法和虚拟波达方向矩阵法。以上算法均详细介绍了算法的原理,阵列模型,并通过仿真实验分别在高低信噪比下,改变阵元数目或者将来波信号方向间角度变小等情况下,深入比较分析了各算法之间的性能差别。本文研究手段是采用科学和工程计算语言MATLAB进行仿真实验。