视频目标跟踪的主要目的是跟踪任意一个会随着时间变化的目标,目标的真实位置将只在第一帧指定。它的困难在于怎么有效的使用非常有限的训练数据来构建一个跟踪器能够适应包括相似背景干扰、快速运动和遮挡等困难场景。近年来,端到端网络结构的孪生跟踪网络在目标跟踪方面取得了出色的性能。它的优秀的性能与效率得到了大量研究者们的青睐。但是它的网络结构十分简单,对于快速运动、遮挡等等困难场景来说都十分乏力,另一方面,在跟踪时孪生网络的准确率极度的依赖于余弦窗的作用,运用余弦窗来降低背景干扰。跟踪器通常根据上一帧的目标位置选择搜索区域,当目标快速运动时,可能会导致余弦窗惩罚机制失衡,从而加剧边界效应。其次,跟踪器通常在目标响应具有以目标为中心的高斯分布的假设下构建在线学习模型。然而,当遇到其他目标或背景噪声不断干扰目标时,跟踪响应图上产生较高的亚峰值并引起模型漂移时,这种假设是不可行的。最后,模型目标跟踪器在很大程度上依赖于从不同的样本框架中在线进行判别性分类器的学习。但是,样本的噪声过多或不足会降低分类器的性能,并导致跟踪漂移。诸如遮挡和模糊之类的困难场景也是跟踪中经常导致目标丢失的场景。针对如上问题,本文主要围绕构建鲁棒的目标跟踪器作为目标。着重研究了对于余弦窗的不均衡惩罚、快速运动、亚峰抑制、鲁棒的模型学习与遮挡模糊等等目标跟踪中的困难问题提出了解决办法。本文的主要研究工作分为以下四个部分:1、针对解决快速运动导致跟踪器产生边界效应,提出一种精确的定位网络,该网络使用相邻帧丰富的运动信息来准确跟踪目标。应用光流估计网络用于预测目标在相邻帧的运动趋势。这对于快速运动的跟踪困难问题是一个很好的解决方案。充分利用运动信息还使跟踪器更加鲁棒,它进一步的消除了余弦窗不均匀惩罚引起的边界效应,跟踪器的性能得以大大地提高。2、提出将孪生跟踪网络中引入卡尔曼滤波方法,以此得到目标的时空轨迹信息,从而利于跟踪器对于遮挡和快速运动等困难场景的鲁棒跟踪。并进一步的提出以一定的权值自适应的结合不同分辨率特征下的响应分数。充分利用多层的特征也让我们跟踪器的准确率进一步的上升。3、根据现存的跟踪器所存在的模型漂移的情况,提出了一个亚峰抑制跟踪器(SPSTracker),以通过在线抑制潜在较大的亚峰值,并突出最大峰响应值来降低模型漂移的风险,实现目标跟踪器的稳定跟踪。通过提出了一种简单高效的峰响应池(PRP)模块来聚合和对齐判别特征,并设计了边界响应截断(BRT)模块来减小特征响应的方差。它们可以即插即用的方式应用到任意的目标跟踪器。4、最后,我们通过为跟踪器找出最具代表性的训练样本并尽可能多地去除噪声样本来提高鲁棒性。提出了一种简单有效的重要样本选择(S3)策略。该方法依赖于不确定性来进行调整,不确定性估计是通过设计的损失函数嵌入到模型的回归分支中。为了进一步提高跟踪器的鲁棒性,提出了一种“混合特征”数据增强方法并将其应用于分类器。该方法包括将模拟遮挡和模糊影响的样本添加到训练数据集,并在目标遮挡或模糊的情况下显著提高跟踪器性能。此外,我们将可变形卷积应用于骨干网络并执行端到端训练。