多目标跟踪（MTT）技术是目前备受研究人员关注的热点之一，它有着巨大的应用价值以及广阔的发展前景。随着科技的不断发展，各种应用系统对多目标跟踪技术的要求越来越高，使得传统的多目标跟踪理论和方法遇到了新的挑战。近年来，基于随机有限集（RFS）的多目标跟踪方法颇受关注，学者们相继提出了多种优秀滤波算法，其中最有代表性的是概率假设密度（PHD，也称强度函数）滤波器和带有势分布的PHD（CPHD）滤波器。基于RFS的多目标跟踪算法可有效地解决传统多目标跟踪方法所面临的困难。因此，研究基于RFS的多目标跟踪技术具有重要的意义。主要围绕基于RFS的多目标跟踪技术进行研究。在PHD滤波器的深入理解基础上，重点研究了基于BFG近似的PHD平滑滤波器、ET-GM-PHD滤波器以及GIW-PHD滤波器。具体研究内容如下：研究了基于GM-PHD滤波器的多机动目标跟踪算法。建立了一类线性(或非线性)高斯跳跃马尔科夫(JMS）模型，提出了一种基于最优拟合高斯（BFG）近似的GM-PHD平滑滤波器。新算法采用了简便的BFG近似法来表达混合模型的动态性，并通过前向-后向平滑法对PHD滤波结果平滑处理。同时，还结合了两次合并和状态提取策略，以获得更精确的目标个数和目标状态估计。研究了基于ET-GM-PHD滤波器的多扩展目标（ET）跟踪算法。探讨了ET-GM-PHD滤波器在实现过程中的计算量问题，提出了一种启发式的距离分割法和一种基于K-means聚类法的分区方法，有效地降低了算法的计算量。提出了一种新形式的ET-GM-PHD滤波器。该算法假定新出现目标强度函数为一个部分均匀分布形式，避免了使用大量高斯混合先验参数近似得到一个新出现目标强度函数的要求。研究了基于高斯逆威沙特PHD滤波器（GIW-PHD）的多群目标(GTT)跟踪算法。针对GIW-PHD滤波器在实现过程中的计算量问题，提出了一种新形式的距离分割法和一种基于相对熵原则的GIW混合分量合并法。对标准的GIW-PHD滤波器合理改进，提出了一种新形式的GIW-PHD滤波器。新算法采用了更加广泛与合理的目标形状动态转移模型和观测模型，并且可准确估计出随时间变化的量测比率。