论文部分内容阅读
基于视频序列的行人跟踪算法是计算机视觉领域的研究热点之一,该算法研究在智能监控领域有着广泛的应用,并且在模式识别、行为识别等计算机视觉的其他领域也都有着重要的作用。行人跟踪算法包括行人检测与行人跟踪两部分研究,基于视频序列的行人跟踪算法是在视频序列中检测行人目标,然后对检测到的行人目标进行跟踪。目前,已经有许多研究学者在行人跟踪算法领域做出了许多研究成果,提出了各种优秀的行人跟踪理论和算法,每一种算法都有自己的进步,同时也存在或多或少的不足。随着Kinect相机的快速发展与广泛应用,已经有越来越多的研究学者开始利用Kinect相机的优越性能来进一步提高行人跟踪算法的跟踪准确率。考虑到深度学习在计算机视觉各领域的优越性能,提出了一种基于深度学习框架与RGBD视频序列的行人跟踪算法。本文的主要研究内容包括:(1)提出了采用目标检测深度学习框架Faster RCNN作为检测行人的检测模型。该框架是深度学习中目前目标检测效果最优的,经过RCNN、Fast RCNN的发展,Faster RCNN将目标检测的四个基本步骤统一到一个深度网络框架之中,由区域生成网络和Fast RCNN网络构成,对提取的特征进行行人候选框的判定,并对位置进行精修,在优化计算复杂度的基础上,不仅提高了运行速度,也提高了行人检测的准确率。(2)提出了采用行人重识别算法作为跟踪行人的行人跟踪算法。传统的行人跟踪算法通常使用的是粒子滤波、卡尔曼滤波等方法。本文没有选择使用传统的跟踪方法,而是选用了基于深度学习框架的行人重识别算法。该算法使用CNN对检测到的行人进行特征提取,并对前后帧提取到的特征对特征进行对比与匹配,通过计算余弦相似度完成行人跟踪步骤。通过实验结果表明,该跟踪算法跟踪准确率较之前的算法有了明显提高。(3)采用RGB视频序列进行行人检测与行人跟踪。将本文选用的RGBD数据集中的RGB视频序列单独取出来进行行人检测与行人跟踪,跟踪准确率与标准数据集的跟踪准确率进行对比,并与之前的算法进行准确率对比。实验结果对比表明,单独采用RGB视频序列使用深度学习框架进行行人跟踪,跟踪准确率明显较之前的算法有了提高。(4)在采用RGB视频序列的基础上,进一步采用RGBD视频序列进行行人检测与行人跟踪。将RGB与深度图像同时输入到系统中,同时提取RGB和深度图像的特征,通过深度图像的特征来弥补RGB图像所提取到的特征的不足。实验结果对比表明,采用RGBD视频序列进行行人跟踪,比单独使用RGB视频序列进行行人跟踪的跟踪准确率更高。