论文部分内容阅读
行人目标跟踪是机器视觉中一类被广泛研究的重要问题,其在视频监控、人机交互、自动驾驶等领域应用非常广泛。但是目前的研究主要是针对单目标跟踪,而在真实环境中,往往会出现多个行人,多目标跟踪要面临目标数量动态变化、目标遮挡、新目标出现和旧目标消失等情况及跟踪场景杂乱等多种因素的干扰。因此设计一个高效、准确的行人多目标跟踪算法仍然是一项具有挑战性的任务。行人多目标跟踪算法通常分为四个步骤:行人检测、特征提取、相似度计算和数据关联。其核心步骤在于目标检测和数据关联,即在每一帧进行目标检测,再利用目标检测的结果来进行数据关联,得到目标轨迹,数据关联更多依赖于特征的提取,比如外观特征、运动特征和时间特征等。本文为改善行人多目标跟踪算法的准确率,围绕多目标跟踪中的特征提取和数据关联步骤展开了研究,提出了一种基于边界回归的多特征融合提取和数据关联的行人多目标跟踪方法,实现了在单个网络中同时进行行人特征提取和数据关联,并采用轨迹置信度对行人目标进行管理,有效改善了行人漏检造成的轨迹中断和遮挡导致的轨迹变换问题。通过在MOT数据集中进行实验,证明本文的算法在行人多目标跟踪准确率上有较大的提高,达到了业界先进水平。具体内容如下:1.针对行人的漏检和误检问题,本文通过在基于特征金字塔的分类与回归网络中加入特征提取分支联合学习,使用行人边界回归的方式来进行运动轨迹预测,使得模型能够适应行人不同尺度的变化,有效降低了行人漏检和误检对跟踪器性能的影响。2.为了避免遮挡导致的目标轨迹漂移和错误关联问题,本文提出了一种基于孪生网络的数据关联方式,使用非极大值抑制从行人检测和运动预测中选取最佳候选框,通过使用最佳候选框的表观特征来构建数据关联矩阵进行学习,从而减少了错误关联,提高了多目标跟踪的准确率。3.针对长时间遮挡导致的轨迹ID变换问题,本文采用轨迹置信度方式,通过对已关联的检测结果和轨迹使用特征加权进行更新,从而形成可靠的行人轨迹。并基于以上改进搭建了一套行人多目标跟踪框架,实现在视频中准确、高效地进行行人多目标跟踪。