论文部分内容阅读
视觉目标跟踪是计算机视觉领域中最具挑战性的任务之一,它在诸多领域都有着广泛的应用,如智能视频监控、人机交互、无人驾驶、虚拟现实、医学图像诊断等。尤其是近年来,随着无人驾驶技术的飞速发展,视觉目标跟踪更是受到了越来越多学者的关注。
视觉目标跟踪的基本思想是跟踪一个在连续图片帧中的通用目标,同时目标的位置和边界框在第一帧时已经给定,视觉目标跟踪任务需要实现的是在剩余的图片帧中估计目标的位置和边界框。值得注意的是,由于尺度变化、遮挡、光照变化和旋转等因素造成的目标外观变化,现阶段尚未有一种视觉目标跟踪算法可以适应所有情形下的跟踪任务。其中,尺度变化和遮挡是视觉目标跟踪任务中最为常见的两种情形,因此在本文中,我们主要关注在目标尺度变化和遮挡同时存在情形下的视觉目标跟踪问题。
在本文中,我们提出一个在尺度变化和遮挡同时存在情形下的视觉目标跟踪算法。首先,针对目标的初步定位问题,我们采用核相关滤波器来确定目标的初步位置。具体地,我们在前一帧的目标位置处采集大量的样本,并为每一个样本添加二维高斯标签,通过最小化带有L2约束的平方和损失来训练一个核相关滤波器。搜索窗口经过核相关滤波器进而得到相关响应,相关响应的最大值所对应的位置即为目标的最佳位置。同时,我们对样本特征进行改进,即采用预训练的卷积神经网络VGGNet-19来提取样本特征,具体地,采用其Conv1-2、Conv2-2、Conv3-4、Conv4-4 和 Conv5-4 层的参数来表示样本特征。为了得到更精确的结果,我们在每一层特征上都训练一个核相关滤波器,进而得到5层的相关响应,并将其线性叠加得到总响应,总响应的最大值所对应的位置即为当前帧目标的初步位置。其次,在解决目标尺度变化的问题上,我们在算法中融合尺度自适应机制。具体地,我们在目标位置附近采集不同尺度的样本,将其调整至相同尺寸后为每个样本添加一维高斯标签,同样是通过最小化带有L2约束的平方和损失来训练一个尺度滤波器。调整至相同尺寸的不同尺度的样本在经过尺度滤波器后会得到不同的尺度响应,尺度响应的最大值所对应的尺度即为当前帧的最佳尺度。随后,在解决目标遮挡的问题上,我们提出一种新的遮挡检测及处理方法,即先计算总响应的峰值旁瓣比,判断目标是否发生遮挡:若峰值旁瓣比大于给定阈值,则目标不发生遮挡;若峰值旁瓣比小于给定阈值,则目标发生遮挡。当目标发生遮挡时,用支持向量机分类器重新寻找目标,更新目标位置。
我们在OTB-50数据集上进行大量的实验,并采用与其它跟踪算法相同的评估指标和评估方法。实验结果表明我们提出的视觉目标跟踪算法在精确度和成功率两个方面都优于其它的算法。更重要的是,在尺度变化和遮挡同时存在的情形下也可以成功的对目标完成跟踪,减少目标跟踪丢失和跟踪漂移。
视觉目标跟踪的基本思想是跟踪一个在连续图片帧中的通用目标,同时目标的位置和边界框在第一帧时已经给定,视觉目标跟踪任务需要实现的是在剩余的图片帧中估计目标的位置和边界框。值得注意的是,由于尺度变化、遮挡、光照变化和旋转等因素造成的目标外观变化,现阶段尚未有一种视觉目标跟踪算法可以适应所有情形下的跟踪任务。其中,尺度变化和遮挡是视觉目标跟踪任务中最为常见的两种情形,因此在本文中,我们主要关注在目标尺度变化和遮挡同时存在情形下的视觉目标跟踪问题。
在本文中,我们提出一个在尺度变化和遮挡同时存在情形下的视觉目标跟踪算法。首先,针对目标的初步定位问题,我们采用核相关滤波器来确定目标的初步位置。具体地,我们在前一帧的目标位置处采集大量的样本,并为每一个样本添加二维高斯标签,通过最小化带有L2约束的平方和损失来训练一个核相关滤波器。搜索窗口经过核相关滤波器进而得到相关响应,相关响应的最大值所对应的位置即为目标的最佳位置。同时,我们对样本特征进行改进,即采用预训练的卷积神经网络VGGNet-19来提取样本特征,具体地,采用其Conv1-2、Conv2-2、Conv3-4、Conv4-4 和 Conv5-4 层的参数来表示样本特征。为了得到更精确的结果,我们在每一层特征上都训练一个核相关滤波器,进而得到5层的相关响应,并将其线性叠加得到总响应,总响应的最大值所对应的位置即为当前帧目标的初步位置。其次,在解决目标尺度变化的问题上,我们在算法中融合尺度自适应机制。具体地,我们在目标位置附近采集不同尺度的样本,将其调整至相同尺寸后为每个样本添加一维高斯标签,同样是通过最小化带有L2约束的平方和损失来训练一个尺度滤波器。调整至相同尺寸的不同尺度的样本在经过尺度滤波器后会得到不同的尺度响应,尺度响应的最大值所对应的尺度即为当前帧的最佳尺度。随后,在解决目标遮挡的问题上,我们提出一种新的遮挡检测及处理方法,即先计算总响应的峰值旁瓣比,判断目标是否发生遮挡:若峰值旁瓣比大于给定阈值,则目标不发生遮挡;若峰值旁瓣比小于给定阈值,则目标发生遮挡。当目标发生遮挡时,用支持向量机分类器重新寻找目标,更新目标位置。
我们在OTB-50数据集上进行大量的实验,并采用与其它跟踪算法相同的评估指标和评估方法。实验结果表明我们提出的视觉目标跟踪算法在精确度和成功率两个方面都优于其它的算法。更重要的是,在尺度变化和遮挡同时存在的情形下也可以成功的对目标完成跟踪,减少目标跟踪丢失和跟踪漂移。