波达方向(DOA)估计是阵列信号处理中一个非常重要的研究方向,尤其在雷达、声纳、遥测遥感、通信等众多领域中有着广泛的应用。传统的基于子空间的DOA估计方法虽然可以实现高精度和高分辨率的估计,但是该类方法也有着诸多限制和缺点,比如需要大量的快拍数据、需要精确已知信源数目、对相干信号估计需要解相干的预处理、低信噪比下估计误差较大等问题。稀疏表示和压缩感知理论的不断发展与完善,为人们提供了一个全新的视角来看待DOA估计问题——将DOA估计问题转化为稀疏表示的重构问题。与传统的子空间方法不同,基于稀疏表示的DOA估计方法具有角度超分辨能力,无需大量快拍数据来估计阵列信号的协方差矩阵,信号的相干性也不会对估计算法带来影响,因此该类方法为解决传统方法中存在的问题提供了一条新的途径。本文从稀疏表示的角度来讨论和研究阵列信号波达方向估计的问题,分别研究了窄带信号的一维和二维DOA的估计方法以及宽带信号的一维DOA估计方法。本文的主要研究成果可以概括如下:首先,为解决高频地波雷达系统中目标过多所导致的无法有效DOA估计的问题,提出了一种基于稀疏表示的脉冲压缩单快拍DOA估计方法,利用脉冲压缩后数据进行单快拍DOA估计。高频地波雷达系统中,脉冲压缩前的数据由于没有相干积累,存在着信噪比过低、大量信源混叠在一起、目标数可能远大于阵元数等问题;而脉冲压缩后的数据尽管可以提高信干比和区分开不同的信源,却存在着可用快拍数过少、同一距离门内回波信号相关性极强等问题。这些问题限制了高频地波雷达系统DOA估计性能的提升。本文提出的脉冲压缩单快拍DOA估计方法利用脉冲压缩后的数据进行处理,不仅能够使信噪比得到显著提升,而且能够解决目标数过多无法有效估计的问题,在每一个距离门上分别进行DOA估计,从而大大提高了系统可估计的目标数。仿真分析和实测数据处理均表明,该方法在估计精度和角度分辨力上均优于传统的MUSIC方法,尤其是在低信噪比和小角度差等恶劣条件下。其次,以降维估计思想为基础,提出了一种基于子字典空间谱重构配对的降维稀疏表示二维DOA估计方法,以解决直接稀疏表示进行二维DOA估计中计算复杂度过高和信号功率相近时配对失败的问题。目前基于稀疏表示的DOA估计方法绝大多数都是针对均匀线阵(ULA),即只能估计一维方向角,而对于面阵等的二维阵列,DOA估计方法很少,其主要原因之一是二维DOA估计的稀疏化表示中冗余字典过大,导致稀疏重建算法计算复杂度过高而难以实现。为了解决这个问题,本文在正交型阵列上将二维DOA角度之间的关系解耦,把二维角度冗余字典的构建转化为一维角度冗余字典的构建,从而使稀疏重建算法的复杂度大大降低,为算法的实用化提供了前提。对于降维处理带来的角度配对问题,本文提出了一种基于冗余子字典空间谱重构的配对算法,相较于现有的基于信号功率的配对算法,在信号间功率相近的情况下可以明显提高算法的配对成功概率和估计精度。理论分析和仿真结果均表明,本文方法不仅可以大大降低算法的计算复杂度,而且与ESPRIT等方法相比具有更好的估计性能,尤其在低信噪比和小角度差下具有明显的优势。最后,研究了宽带信号的DOA估计问题,分别利用匹配滤波和FRFT变换,提出了两种宽带DOA估计方法,同时针对网格失配的问题,提出了一种基于分数域修正模型的网格失配DOA估计方法。针对接收信号数目大于阵元数的情况下传统DOA估计方法无法进行估计的问题,本文以已知信号先验信息为条件,提出了一种基于匹配滤波和稀疏表示的正则化FOCUSS方法,该方法对滤波后的信号构建时域DOA估计模型,其阵列流形矩阵只与宽带信号的中心频率有关而与其他频点无关;针对基于时频分析的DOA估计方法存在交叉项干扰或时频点选取等问题,本文提出了一种基于分数域稀疏模型的正则化FOCUSS方法,该方法在分数域构建DOA估计稀疏模型和新的导向矢量形式,利用正则化FOCUSS重构算法求解宽带LFM信号的DOA估计。这两种方法均可以提升接收信号的信噪比和信干比,从而提高DOA估计性能,同时还可以增加系统可估计的信号数目。仿真结果表明,这两种方法对相干和非相干的宽带信号都能处理,而且具有更好的估计精度和角度分辨能力,尤其在低信噪比条件下的优势更为明显。另外,针对网格失配的问题,本文提出了一种基于分数域修正模型的网格失配DOA估计方法,该方法通过交替下降迭代实现网格失配的补偿问题。仿真结果也表明该方法具有更好的估计精度和角度分辨能力,同时还具有对网格划分的大小不太敏感的优势。