阵列信号处理技术在无线通信、地震勘探、射电天文等专业领域都获得了广泛的应用和长足的发展。其中,波达方向估计（Direction of Arrival,DOA）是该领域内的一个基本问题,其主要目标是通过处理阵列的接收信号,获得信源相对于阵列的方向角度估计。近十年来,稀疏阵列作为一类新型的阵列结构,引起了学者们的广泛关注。与传统的均匀线阵相比,稀疏阵列具有更高的空间自由度（Degree of Freedom,DOF）和更大的阵列孔径,因此能够获得更精确的角度估计和更高的角度分辨能力,另外,稀疏阵列灵活的阵元排布方式和更低的硬件成本也使得其成为了研究热点。现有的稀疏阵列研究一般将入射信号建模为圆信号,然而在现代通信系统中,非圆信号也有着极为广泛的应用。本文充分挖掘非圆信号的信号特性,从构造新型虚拟阵、提升自由度、降低阵元冗余度、降低计算复杂度等角度,开展面向非圆信号的稀疏阵列结构设计与DOA估计算法的研究,选题具有理论意义与应用价值。论文的主要工作概括如下。（1）提出一种基于平滑和差共阵（Sum-difference Co-array,SDCA）的非圆信号DOA估计方法。该方法充分利用信号的非圆性质,同时生成稀疏阵列的差共阵与和共阵,并通过改进的空间平滑技术生成一种平滑SDCA。与传统的差共阵相比,平滑SDCA能有效提升阵列的空间自由度和虚拟阵列孔径。在此基础上,该方法利用谱峰搜索思想,分别提出基于平滑SDCA的二维非圆多重信号分类（Multiple Signal Classification,MUSIC）算法和基于平滑SDCA的降维非圆MUSIC算法来解决角度和相位的二维参数估计问题。该方法中,高自由度的平滑SDCA提升了算法可辨识信源数和测向精度,降维思想的利用避免了二维谱峰搜索,极大地降低了算法的计算复杂度。（2）提出一种基于整体SDCA的非圆信号DOA估计方法。该方法利用信号的非圆特性同时生成稀疏阵列的差共阵与和共阵,同时挖掘信号的准平稳特性,恢复虚拟入射信号协方差矩阵的秩,从而避免了虚拟阵元的损失,并生成一种整体SDCA。整体SDCA能够有效提升阵列的空间自由度和虚拟阵列孔径,同时对于物理阵列结构的要求更低。在此基础上,该方法利用整体SDCA方向向量的分段旋转不变性,分别提出基于整体SDCA的非圆旋转不变性信号参数估计（Estimation of Signal Parameters via Rotational Invariance Techniques,ESPRIT）算法、非圆传播算子方法（Propagator Method,PM）、以及非圆酉变换ESPRIT（Unitary-ESPRIT）算法。该方法中,高自由度的整体SDCA提升了算法可辨识信源数和测向精度,分段旋转不变性的利用使算法具有较低的计算复杂度。（3）研究面向非圆信号DOA估计的稀疏阵列结构设计。首先基于整体SDCA提出虚拟阵冗余度的概念。以提升阵列空间自由度、降低虚拟阵冗余度为目标,分别提出翻转嵌套阵（Switched Nested Array,Sw NA）、改进的翻转嵌套阵（Improved Switched Nested Array,ISw NA）,以及平移阵列策略。其中,翻转嵌套阵及其改进结构通过改变子阵相对位置和重置部分阵元,在一般嵌套阵的基础上有效地提升了空间自由度并降低了虚拟阵冗余度。平移阵列策略能够适用于任意稀疏阵列,通过选取合适的参数,该策略能够将任意阵列的虚拟阵冗余度降低至0或趋近于0。由于该策略并未改变连续虚拟阵元的总数,因此平移阵列能够在原阵列的基础上获得极大的空间自由度增益。