无源探测系统利用调频广播信号、电视信号等外部照射源探测空中目标的微弱反射信号,通过相干检测处理估计目标信号的时延和多普勒频移等参数,从而达到跟踪和识别目标的目的。无源探测系统采用双基地雷达体制,且本身不发射电磁信号,具有抗干扰、反隐身和生存能力强等优点,因此具有广阔的发展前景和重要的应用价值。如何从强噪声和杂波中提取微弱的目标回波信号是无源探测系统的一项关键技术。本文针对基于调频广播的无源探测系统,深入研究了微弱目标回波检测方法和多目标跟踪滤波方法。主要创新工作如下：首先,针对直达波信号被多径杂波所淹没的问题,提出了基于变步长的空时二维恒模(ST-CMA)盲均衡算法的直达波提取方法。该算法采用小规模阵列接收参考信号,综合利用空域和时域二维自由度。与传统的基于时域恒模(CMA)盲均衡算法的直达波提取方法相比,该算法不受多径信号时延的限制,因此更具有效性和鲁棒性。在此基础之上采用变步长训练算法,在迭代过程中不断调节步长,使得算法的收敛速度得以提高。为后续的信号检测处理提供了参考信号。其次,为了提高多距离门情况下的信号检测性能,提出了基于核向量回归算法的检测方法。该算法将距离采样点映射到特征空间中,且在迭代过程中保持最小包围球的半径固定不变,具有一定的抗噪声特性。与传统的单元平均恒虚警(CA-CFAR)检测技术相比,新算法更适用于多距离门情况。再次,针对微弱目标回波信号的检测问题,提出了一种新的微弱目标回波信号检测算法,即多步检测算法。该算法利用广义批处理算法解决由杂波信号所产生的掩膜效应；采用逐次清除算法逐步提取观测区域中的目标回波信号,削弱由于运动目标的存在所产生的掩膜效应；利用基于核向量回归算法的检测方法替代传统的CA-CFAR技术。与长时间相干积累检测方法相比,新算法的性能得到明显提高,更能满足复杂信号环境下检测微弱目标回波信号的需求。最后,研究了基于概率密度假说(Probability Hypothesis Density, PHD)滤波的多目标跟踪滤波算法。针对该算法中由于模型失配或迭代过程中产生奇异矩阵所导致的不能准确提取目标位置信息的问题,提出了改进的峰值提取算法。该算法借用了雷达信号处理中CLEAN算法的思想,其性能明显优于期望最大化算法(Expectation Maximization Algorithm, EM)。进一步针对跟踪滤波中运动目标模型的不确定性,提出了多模型PHD滤波算法。通过多个PHD滤波器并行处理数据信息,达到有效跟踪多目标的目的。