在现实生活中，大量有意义的视觉信息都包含在运动之中。在许多场合，比如重要场所的安全监控、汽车的自动驾驶和辅助驾驶、交通流量的控制、航空和军用飞行器的制导，人们往往只对运动目标或物体感兴趣。因此，研究基于视频图像的运动目标跟踪，有很大的现实意义和实际价值。本文以运动物体为目标，在实验室环境下实现了对运动目标进行识别和跟踪的系统，并通过控制云台、镜头将目标始终保持在视场之内。在图像处理过程中，提出了一种基于灰度数学形态学与最大类间方差法的综合分割算法。这是一种分阶段的分割方法。实验结果表明，这种分阶段的分割方法在运算效率以及分割精度上都取到了较理想的结果。在图像跟踪过程中，将自适应波门跟踪与卡尔曼滤波算法很好地结合起来。采用卡尔曼滤波做位置预测，缩小了特征搜索的范围，提高了算法的效率；采用波门跟踪，提高了跟踪精度，并在目标被短暂遮挡的情况下也能很好地跟踪。本文对各种设计方案和算法进行了仿真实验和编程实现，对最后确定采用的算法进行多次算法改进和优化，大大提高系统的稳定性和实时性。实验表明，上述算法运算速度快，满足系统实时性要求，易于硬件实现，达到预期效果。