多目标检测和跟踪技术是近几年的研究热门,但已存在的算法往往存在一些弊端和不足,比如不同目标类型自身存在其特有的特征属性,目标间存在复杂的互动关系,环境对目标运动存在约束和影响等,以及物体间相互遮挡、光照快速变化、图像噪音等因素都会造成一定数量的目标漏检和错检导致跟踪轨迹的断裂。在目标密集的城市环境下更容易造成目标丢失或跟踪错误。为了更为准确地描述目标运动状态,预测目标未来的运动轨迹,实现目标的连续持久跟踪,本文提出基于航拍视频的多目标检测和跟踪算法,该算法首先对视频进行视频稳像,然后将三帧相减和背景减除算法结合分离出视频的前景和背景,检测和识别出运动物体,最后提取出运动目标的特征属性和目标间的差异特征利用超图匹配进行帧间匹配,实现跟踪的目的。外界环境、设备和人等因素在拍摄过程中造成的视频抖动会使多目标检测结果产生较大的偏差,本文提出一种基于光流的稳定的视频稳像算法。该算法利用光流找到帧图像间的匹配点对计算仿射变换矩阵用以视频稳像,效果较为理想。在实际应用中,由于背景减除算法利用高斯混合模型GMM进行背景建模得到的背景模型可能包含暂时静止的目标物体,效果并不理想,而三帧相减算法存在“重影”和“洞”的问题,于是本文提出结合背景减除和三帧相减的算法,该算法结合两种算法的优点,比较好地解决了多目标检测和识别中的问题。识别出目标物体后,提取目标自身的特征属性,比如颜色、速度、轮廓和纹理等,并计算目标间的差异特征,比如距离、速度差等,根据超图匹配计算帧间目标间的关联权重,根据匹配权重关联前后帧的运动目标,实现运动目标的跟踪。实验结果表明,本文的检测和跟踪方法在保障实时性的前提下准确度明显提高,鲁棒性也比较高。