近年来,我国的体育事业不断进步,体育竞技水平不断提升,但在冬季运动项目方面,我国运动员整体实力还存在较大差距。在北京冬奥会的背景下,通过体育科研,运用科技手段辅助各项训练以快速提高运动员冬季运动成绩具有重要意义和紧迫性。越野滑雪项目是冬奥会中的一个大项,我国运动员成绩长期处于国际中下游。鉴于滑雪赛道范围广、变化多,教练员迫切需要一种自动化的视频采集系统能够对越野滑雪全程滑行过程进行图像采集,以用于训练分析。随着计算机算力的快速发展,神经网络的引入使得计算机视觉中的各项应用研究取得显著进展,采用神经网络和深度特征的目标跟踪方法在准确率、健壮性等方面都大大提升。本课题利用基于神经网络的目标跟踪算法,结合PTZ相机,实现了一种主动跟踪方法,以解决越野滑雪运动的大视场、高速目标跟踪。本文的主动跟踪属于一种视觉伺服系统,视觉跟踪的目标位置信息将作为相机控制系统的输入,因此,目标位置信息的实时采集是关键。本文引入最新的孪生区域候选网络跟踪器,简称Siamese-RPN,来检测视频中的运动员位置。Siamese-RPN采用双分支结构,网络前端对模板(帧)和待检测帧分别且同时计算;在末端的候选区域生成网络中,对候选区域的分类和区域位置回归也同步进行,同时实现目标的检测和跟踪。这种并行处理结构使得该跟踪器既能有效利用深度特征,又能获得最高可达160FPS的处理速度。通过在真实越野滑雪视频上的训练与测试表明,该跟踪器能够满足视觉伺服控制的实时性要求。在主动跟踪中,相机的转动会叠加图像中目标的移动,为克服相机运动时的耦合影响,本文提出了基于运动预测模型的跟踪器优化方法。运动预测模型使用卡尔曼滤波捕捉目标的运动信息,预测中心点位置,并使用单应性矩阵消除相机运动的影响,优化目标区域的划定。在VOT2016数据集上的测试结果表明,优化后的跟踪器在处理尺度和运动变化的移动目标时跟踪准确率均优于SiameseRPN等跟踪器。另外,为弥补Siamese-RPN只进行离线训练的不足,本文进一步采用新增在线更新结构的方式,压缩更新网络的规模并选择较随机梯度下降更快速的损失函数优化方法,在能够接受的运算速度损失下,明显提高目标跟踪精度,也为相机的高精度伺服控制奠定良好基础。在VOT2016公开数据集上的测试结果表明,采用在线更新后的Siamese-RPN跟踪器,其平均重叠期望(EAO)指标优于实验中其他跟踪器,反映出改进后的模型在跟踪准确率和鲁棒性方面最为平衡。最后,本文利用改进的Siamese-RPN跟踪器提供的目标位置,实现了对海康威视PTZ相机的跟踪控制。为避免控制相机运动时运动员目标可能脱离相机视场的情形,本文采用了基于人工势场方法的运动规划策略。通过图像坐标与PTZ坐标系的映射,最终获得相机控制参数。本文方法在亚布力越野滑雪场进行了测试验证,测试结果表明,与采用基于GPS定位的跟踪系统相比,本文方法的位置更新率提高了近10倍,跟踪精度大为改善,跟踪效果明显优于GPS跟踪系统。