雷达、通信等各类电子系统的广泛应用，形成了时域高度密集、频谱严重混叠的复杂电磁环境，使得各类合作/非合作通信系统接收到时频重叠混合信号的概率大大增大。为了完成感兴趣的源信号的参数估计和信息提取，必须首先从混合信号中准确分离出源信号。盲信号分离（Blind Signal Separation, BSS），可以从观测到的混合信号中恢复出无法直接观测到的源信号。利用BSS方法可以大大提高各类通信系统对复杂电磁环境的适应能力，具有重要的实际意义。本文根据不同的接收阵列结构以及源信号否为稀疏信号的情况，分别针对特定阵列稀疏信号的欠定波达方向（Direction-of-Arrival, DOA）估计和盲分离、特定阵列非稀疏信号的欠定DOA估计和盲分离、任意阵列的欠定盲分离以及特定目标信号盲提取四个方面的问题进行了深入研究。主要研究内容概括如下：第二章研究了特定阵列且源信号是稀疏信号的欠定DOA估计和盲分离问题。假设任意时频邻域内同时存在的源信号数目小于阵元数目，提出了基于稀疏重构和聚类验证的源个数、DOA与信号波形联合估计算法。首先将信号的时频支撑域划分成若干不相交的时频邻域，利用稀疏重构算法估计出每个时频邻域内不为零的源信号的DOA及其对应的时频域波形，然后利用聚类验证方法对所有时频邻域的DOA估计结果进行聚类分析，从而完成源个数和所有源信号DOA的联合估计。最后，根据DOA完成整个时频域上不同源信号波形的拼接，并通过逆变换求解源信号的时域波形。本章算法充分利用了源信号的时频稀疏性，同时实现了欠定混合条件下源个数、DOA以及信号波形的估计。在DOA估计方面，相比基于高阶累积量的欠定DOA估计算法，所需的样本点数更少，估计精度更高。相比基于聚类的欠定DOA估计方法，放宽了对源信号的稀疏性要求并克服了要求事先已知源个数的不足。在源信号分离方面，由于算法可以准确估计任意时频邻域内同时存在的源信号数目，相比具有相同稀疏性假设的子空间投影算法，提高了源信号的估计性能。仿真结果验证了算法的有效性。第三章研究了特定阵列且源信号是非稀疏信号的欠定DOA估计和盲分离问题，提出了基于拓展循环自相关矩阵联合对角化的欠定DOA估计算法。首先计算信号在不同循环频率、不同时延处的循环自相关矩阵，利用代数方法将同一循环频率、不同时延处的循环自相关矩阵表示成拓展循环自相关矩阵形式，从而得到一组不同循环频率的拓展循环自相关矩阵集合；然后，利用联合对角化的方法估计出信号子空间和噪声子空间；最后根据子空间类方法估计出源信号的DOA。该算法通过代数手段实现了阵列的虚拟扩展，不要求源信号在时频域是稀疏的，可以有效地实现欠定条件下非稀疏源信号的DOA估计。同时，由于联合利用了多个不同循环频率的拓展循环自相关矩阵，显著提高了算法的DOA估计精度以及对色噪声的适应能力。在估计出源信号的DOA的基础上，提出了基于期望最大化和时频域最优波束形成的欠定盲分离算法。通过期望最大化算法估计出不同时频邻域内的各源信号和噪声的概率分布参数，在此基础上分别求解不同时频邻域内各源信号对应的最优波束形成器以完成源信号的分离。该算法充分利用了源信号和噪声的概率分布信息，可以有效实现欠定条件下非稀疏源信号的分离。仿真结果表明本章算法可以有效完成欠定条件下非稀疏源信号的DOA估计及盲分离。第四章研究了任意阵列的欠定盲分离问题。假设所有源信号均存在时频单源点且任意时频邻域内同时存在的源信号数目不大于阵元数目，提出了基于时频单源点检测以及改进的矩阵对角化的欠定盲分离算法。首先计算混合信号的时频比矩阵，对时频比矩阵的实部和虚部进行直方图统计以完成时频单源点的检测。然后利用基于k均值的聚类验证算法对时频单源点集对应的奇异向量进行聚类分析从而完成源个数和混合矩阵的联合估计。该混合矩阵估计算法有两个优点：一是放宽了对源信号的稀疏性要求，只要求源信号存在离散的时频单源点；二是源个数估计过程中人工参数少且容易设置。在估计出混合矩阵后，针对单源邻域通过子空间投影算法估计该时频邻域内源信号对应的混合矢量；针对多源邻域，通过度量协方差矩阵对角线元素与非对角线元素之间的差异估计该时频邻域内不为零的源信号个数及其对应的混合矩阵。最后通过求解各时频邻域上混合矩阵的伪逆估计出源信号。由于该算法可以准确估计出任意时频邻域内同时存在的源信号数目，克服了原有方法设定固定的源数目而导致分离性能下降的不足。仿真结果验证了算法的有效性。第五章研究了适定/超定条件下特定目标信号的盲提取问题。将基于线性瞬时混合模型的约束独立分量分析理论框架推广到线性延迟混合模型，总结了约束的类型和来源，并提出了两类新的求解方法。在此基础上，利用目标信号的循环平稳特性提出了基于循环平稳约束的盲信号提取算法并分析了算法的收敛条件以及约束条件中的人工参数的选取依据；利用目标信号波达方向信息提出了基于空域约束的盲信号提取算法并分析了算法的收敛条件以及约束条件中的人工参数的选取依据。由于约束独立分量分析算法将目标信号的先验信息与独立分量分析算法的学习过程相结合，保证算法可以收敛到满足约束条件的极值点，有效解决了盲信号分离存在的顺序模糊性问题，并提高了目标源信号的估计性能。仿真结果验证了算法的有效性。