论文部分内容阅读
目标跟踪作为计算机视觉领域的一项重要技术,为行为识别、视觉导航、智能监控等高级应用提供了基础,然而跟踪过程中,复杂的环境变化和目标自身的形态变化都给鲁棒跟踪带来了很大挑战。TLD跟踪框架将跟踪任务分解成帧间跟踪、模型在线学习和帧内检测三个子任务,给长时间目标跟踪问题提供了有效的思路。本文围绕长时间鲁棒跟踪问题,对基于 TLD 框架和核相关滤波的跟踪算法展开了研究,主要的工作包括以下三个方面:
1、研究了核相关滤波跟踪中的多特征融合和高置信度更新问题,并根据融合特征和融合方式的不同,提出两种具体的实现。首先将特性上互补的方向梯度直方图(HOG)和颜色属性(CN)特征在特征层融合,提出融合HOG和CN的高置信度更新核相关滤波跟踪算法;然后通过响应图的峰值大小和旁瓣比计算跟踪结果的置信度,令跟踪器在置信度较高的情况下更新,避免不准确样本的干扰;接下来,在融合了传统特征的基础上,提取目标的CNN特征训练核相关滤波跟踪器,然后在响应层自适应融合传统特征和CNN特征的跟踪响应图,提出自适应融合传统特征和深度卷积特征的核相关滤波算法,根据最终的响应图来确定目标位置并控制跟踪器的高置信度更新。最后,通过对比实验评估了本章算法的跟踪性能。
2、研究了基于TLD跟踪框架改进的目标跟踪算法。采用鲁棒性更好的多特征融合和高置信度更新的核相关滤波跟踪算法替换 TLD 原有的跟踪模块,并借助置信度机制进行失败自检测,以确保 TLD 框架跟踪模块功能的完整性;然后优化检测模块的目标搜索方式,令检测模块在跟踪模块预估的目标位置局部搜索,若跟踪模块跟踪失败,则进行全局搜索,如此以降低每帧全局搜索的计算量;为提高学习模块中目标模型的表征能力,提出了样本稀疏删除规则,删除表征能力弱的候选样本和目标模型中冗余的样本,从而避免样本的冗余和污染。在基准数据集OTB上的实验表明,改进后的TLD跟踪精度和速度有了显著提高,在光照变化、目标遮挡等复杂场景下的跟踪鲁棒性得到了明显提升,和其他先进的跟踪器进行比较,本文算法也展示出了优秀的跟踪性能。
3、设计并实现了单目标跟踪系统软件。首先进行需求分析,将系统划分为序列获取、目标初始化、跟踪流程控制、结果展示、结果保存和结果分析六个功能模块,然后基于Python和QT平台实现了该系统的开发,并将本文提出的目标跟踪算法以及常用的跟踪算法集成到该系统中。最后,在该系统中验证了基于 TLD 框架改进的目标跟踪算法在实际拍摄场景中的跟踪鲁棒性。
1、研究了核相关滤波跟踪中的多特征融合和高置信度更新问题,并根据融合特征和融合方式的不同,提出两种具体的实现。首先将特性上互补的方向梯度直方图(HOG)和颜色属性(CN)特征在特征层融合,提出融合HOG和CN的高置信度更新核相关滤波跟踪算法;然后通过响应图的峰值大小和旁瓣比计算跟踪结果的置信度,令跟踪器在置信度较高的情况下更新,避免不准确样本的干扰;接下来,在融合了传统特征的基础上,提取目标的CNN特征训练核相关滤波跟踪器,然后在响应层自适应融合传统特征和CNN特征的跟踪响应图,提出自适应融合传统特征和深度卷积特征的核相关滤波算法,根据最终的响应图来确定目标位置并控制跟踪器的高置信度更新。最后,通过对比实验评估了本章算法的跟踪性能。
2、研究了基于TLD跟踪框架改进的目标跟踪算法。采用鲁棒性更好的多特征融合和高置信度更新的核相关滤波跟踪算法替换 TLD 原有的跟踪模块,并借助置信度机制进行失败自检测,以确保 TLD 框架跟踪模块功能的完整性;然后优化检测模块的目标搜索方式,令检测模块在跟踪模块预估的目标位置局部搜索,若跟踪模块跟踪失败,则进行全局搜索,如此以降低每帧全局搜索的计算量;为提高学习模块中目标模型的表征能力,提出了样本稀疏删除规则,删除表征能力弱的候选样本和目标模型中冗余的样本,从而避免样本的冗余和污染。在基准数据集OTB上的实验表明,改进后的TLD跟踪精度和速度有了显著提高,在光照变化、目标遮挡等复杂场景下的跟踪鲁棒性得到了明显提升,和其他先进的跟踪器进行比较,本文算法也展示出了优秀的跟踪性能。
3、设计并实现了单目标跟踪系统软件。首先进行需求分析,将系统划分为序列获取、目标初始化、跟踪流程控制、结果展示、结果保存和结果分析六个功能模块,然后基于Python和QT平台实现了该系统的开发,并将本文提出的目标跟踪算法以及常用的跟踪算法集成到该系统中。最后,在该系统中验证了基于 TLD 框架改进的目标跟踪算法在实际拍摄场景中的跟踪鲁棒性。