目标跟踪是视觉系统的基础技术之一,在视频监控、自动驾驶和人机交互等领域有重要应用。基于孪生全卷积网络的跟踪方法因其简洁的架构和良好的性能而成为目标跟踪的重要方法之一。这类方法先用卷积神经网络进行特征提取,然后用特征进行目标的定位。早期的孪生全卷积网络跟踪器都采用浅层的卷积神经网络进行特征提取。这种网络提取的特征判别力有限,在复杂情况下无法区分出目标。另外,孪生全卷积网络跟踪器需要大量标注的视频图像帧进行训练。图像中关注的目标只有一个,那么标注数据中就会有大量的负样本产生,而且普通的损失函数不易学习困难样本。针对这些问题,本研究进行了如下两方面的研究:1.针对浅层卷积神经网络特征判别力不足的问题,本研究基于可复用各层特征的稠密连接网络设计了新的孪生全卷积网络架构。为了适应跟踪任务,本研究首先分析了主干卷积神经网络中会影响跟踪结果的因素,然后对原始稠密连接网络进行了改进,加入了中心裁剪操作去掉卷积填充对跟踪的影响。另外,结合特征感受野对跟踪器的影响控制了网络的输出特征图尺寸。多个测试数据集上的实验表明,基于孪生稠密连接网络改进的跟踪器取得了更好的跟踪准确度和鲁棒性。2.针对训练数据集中正负样本不平衡的问题和网络不易学习困难样本的问题,本研究引入了两种平衡损失函数来改进两种不同方式定位目标的跟踪器。其中一个损失函数主要针对正负样本不平衡的问题,引入了负样本惩罚参数来改进跟踪器主干网络拟合目标的能力。另一个损失函数通过置信度惩罚参数可额外改善跟踪器的主干特征提取网络学习困难样本的能力。最后在多个数据集上对比了跟踪器用平衡损失函数改进前后的性能,实验结果表明平衡损失函数可以增强主干网络提取特征的判别力。以上的研究工作让孪生全卷积网络跟踪器能从深度卷积网络和大量标注数据两方面受益。多个目标跟踪评估数据集上的实验对比表明,这些改进工作是有效的。