随着通信技术的发展,现代通信环境也日益复杂,通信侦察所接收到的信号常常是多个信号在时域及频域的混合体。由于源信号和混合系统的先验知识是未知的,因此传统的信号处理方法逐渐显现出不足,盲源分离为解决通信信号的盲分离带来了全新的思路和方法。本文在介绍了盲源分离有关理论知识的基础上,研究了在源信号数目未知的超定情况下的通信信号盲源分离问题。首先研究了在盲源分离中被广泛采用的自然梯度算法,对其无法适用于超定情况的原因做了分析,然后通过引入正交投影得到改进的算法解决了超定问题,并对算法的性能进行了仿真、验证和分析。针对梯度自适应类盲源分离算法在处理含有复杂调制方式的源信号(如OFDM信号)时算法性能严重下降的问题以及本身固有的一些缺点,本文又研究了更为实用的基于二阶统计量对角化的批处理方法,详细介绍了经典的SOBI算法,然后分析了该算法所采用的Jacobi法正交联合对角化所存在的问题,并通过一种新的非正交联合对角化进行了改进,提高了算法在噪声环境下的处理性能,并仿真分析了算法的性能。仿真结果验证了算法的有效性,改进后的算法在处理信噪比较低的信号时处理能力得到了显著提高。