论文部分内容阅读
视觉目标跟踪由于其在视频监控、无人驾驶、智慧安防及人机交互等方向存在巨大的研究和实用价值,一直受到计算机视觉领域的极大关注。目标跟踪,简单来说就是给定一个目标的初始状态,在视频序列中为目标进行定位。由于在跟踪过程中,目标会伴随遮挡、背景干扰、光照变化、低分辨率等复杂背景干扰,如何在复杂环境下取得理想的跟踪效果一直是一个极具挑战性的问题。卷积神经网络以其强大的特征提取功能而被广泛应用在图像处理领域,但是卷积神经网络在目标跟踪领域的应用面临计算复杂度高、训练样本缺失、缺乏时空信息、在线学习困难等问题。本文以卷积神经网络为理论基础展开研究,有针对性地解决相关关键问题,主要研究内容如下:第一,提出了基于核函数的卷积神经网络跟踪算法。针对卷积神经网络跟踪算法硬件环境要求较高,训练样本缺少及训练费时等问题,本文引入高斯核函数进行加速,采用简单两层前馈卷积网络提取目标鲁棒性特征,提出一种无需训练的简化卷积神经网络跟踪算法。首先对初始帧目标进行归一化处理并聚类提取一系列初始滤波器组,跟踪过程中结合目标背景信息与前景候选目标进行卷积,提取目标简单抽象特征,最后将简单层的卷积结果进行叠加得到目标的深层次表达。通过高斯核函数卷积来提高算法中全部卷积运算的速度,结合粒子滤波跟踪框架实现跟踪。实验表明,本文方法可以脱离繁琐深度学习运行环境,提高复杂背景下的跟踪效率。第二,提出了结合时空信息的卷积神经网络跟踪算法。针对卷积神经网络提取抽象特征缺乏时空信息的问题,本文结合时空上下文模型作为卷积神经网络的各阶滤波器,提出一种在线时空卷积神经网络的视觉跟踪算法。首先对初始目标进行归一化处理并提取目标置信图,而后在跟踪过程中结合时空信息更新得到时空上下文模型,第一层使用更新后的时空模型对输入进行卷积,并对卷积结果进行滑动窗口取片,第二层再使用时空模型分别对取片结果进行卷积,提取目标简单抽象特征,然后叠加简单层的卷积结果得到目标的深层次表达,最后结合粒子滤波跟踪框架实现目标跟踪。实验表明,本文时空卷积网络结构提取的深度抽象特征,能够保留相关时空信息,提高复杂背景下的跟踪效率。第三,提出了稀疏学习的时空卷积神经网络跟踪算法。卷积神经网络模型因为网络更新复杂,选择在线学习导致时间复杂高,不选择在线学习又很难应对跟踪过程中目标的一系列变化。本文在结合时空信息的卷积神经网络跟踪算法的基础上,设计一种结合时空信息的自适应在线稀疏学习方式,使网络在跟踪过程中根据目标的变化情况与时空信息做自适应在线学习。在第一帧网络预训练出一个简易模型,在跟踪过程中,设置更新阈值,结合时空信息进行在线自适应稀疏更新,避免每一帧都进行更新导致的冗余更新和较大的时间复杂度。实验验证了在线稀疏学习可以应对低分辨率场景下的尺度变化、遮挡等复杂跟踪问题。