视频目标跟踪随着近几年计算机视觉、模式识别、深度学习领域相关技术的不断成熟进步,诸多学者、专家对人工智能的重视不断增强,逐渐成为机器学习的核心发展方向,在密集区域视频监控,交通智慧城市,视频分析与检索等方面有比较广阔的发展前途和应用场景。而与此同时,随着深度神经网络的学习与应用,对于视频跟踪中的目标框选,目标跟踪中的自学习都有着新的结合应用。所以,把深度神经网络应用于多个目标的检测跟踪上很有现实意义。多目标跟踪是当今视频跟踪领域研究热点之一,他有效地解决了多目标构成的群体的行为判断问题与某区域内目标拥挤度的识别问题,成为提高现有视频目标跟踪效率最为有效的途径,与此同时还兼备了现有主流单目标跟踪所能保证的跟踪精确度与准确性。本课题第一步先将对若干张待跟踪目标的通用特征图像运用深度神经网络非在线训练,提取该类目标的特征。然后运用这些训练提取的目标特征在线训练,得到正确区分目标与非目标的分类器,将需要跟踪的目标分类并框选。其次,在目标框选确定之后,跟踪器根据帧与帧之间目标物体的运动是有限的采用光流法估计目标运动状况。检测器首先对每一帧视频图像帧进行逐个扫描,逐一观测出直到当前时刻以前已经被找到并学习过的与待跟踪目标具有较高相似度的图像帧子区域。针对检测器可能出现的假的正负样本使用学习模块进行自学习并不断改进跟踪器、检测器与学习模块自身。根据跟踪模块的结果对检测器的两种错误进行评估,根据评估结果对生成的训练样本进行矫正与重置,同时对跟踪模块所捕捉并依据的“关键特征点”进行相应的矫正。形成一套适用于多种特定场景视频下运动多目标跟踪检测算法。最后,结合MDP(Markov Decision Processes)学习的思想与多质心双向量多目标预测的算法,针对每个目标建立“分离-结合”模式的多质心分别决策性学习方法。通过频域向量和空域向量精确目标位移的距离和方向,通过决策性学习形成目标动作判断机制。使每一个质心的位移与动作成为其组成目标位移与动作的判断与参考标准。在多种特定场景视频下进行效果测试并完成适用于多种特定场景下视频内运动多目标跟踪检测的应用。