近年来相关性滤波器算法已经被成功应用于机器视觉领域中的物体追踪问题,取得了非常优秀的追踪效果。传统的物体追踪算法运行速度快但追踪精度差,只能够应用于一些简单的追踪场景。新提出的诸多物体追踪算法底层数学模型十分复杂甚至还需要集成深度学习进行视觉特征提取,巨大的运算量限制了其在实时追踪领域的应用。本文从相关性滤波器算法出发,以实时高精度物体追踪为目标,提出了一种高效的物体追踪算法来在CPU端实时追踪多个任意物体。追踪算法通过引入空域约束和特征权重来提高追踪结果的精确性及鲁棒性,通过合理的运动学估计模型来解决物体遮挡及物体严重形变的情形,通过对最终滤波器响应的分析来实时评估追踪结果的质量,从而采用多学习率融合方法动态更新底层模型。此外使用预计算傅里叶变换、动态内存管理、多核并行计算以及特征降维等方法来加快物体追踪算法的运行速度,并且提出了一种异步延迟更新策略来进一步减少运算量。在VOT数据集上进行实验测试取得了非常优秀的结果。相比于现有的CPU实时物体追踪方案,本文算法追踪效果提升6%,运行速度加快20%。本文算法能够将每个图像帧的处理时间降至5毫秒并且保持较好的追踪质量,具有广阔的应用空间。