为了解决地面交通快速发展所引发的各种问题，智能交通系统（Intelligent Transportation System，ITS）的研究被提到了重要位置。车辆检测与跟踪作为ITS的最为基础和关键的组成部分，已经成为当前ITS的研究热点。本文以视频图像作为研究对象，对车辆检测与跟踪的相关问题进行了研究，主要工作体现在以下几个方面： （1）提出一种融合帧间差分的混合高斯背景模型的构建和更新方法，该方法可以快速而且准确地从视频序列中重构背景。算法采用混合高斯背景模型更新方法可以较好地克服光照变化、环境中存在干扰等对背景模型的影响，同时融入帧间差分法又可以有效地解决混合高斯模型实时性差的缺点，具有较强的鲁棒性。 （2）在背景建模的基础上对前景区域进行了提取与分割，并利用形态滤波对前景做了除噪和空洞消除。基于阴影形成的原理，将视频帧RGB图像转换到HSV颜色空间，然后提出了一种HSV颜色空间的自适应阴影检测算法。算法具有较好的实时性，能很好地适应光线和阴影的变化。 （3）根据运动目标在场景中的出现方式，给出了运动目标的三种运动状态，讨论了视频序列中车辆位置关系，并在此基础上给出了车辆的跟踪策略。为了满足实时性要求，采用了kalman滤波器，并对滤波器进行了扩展，扩展后的滤波器不仅考虑了目标的当前特征，还增加了预测值，能够更加准确地跟踪和预测目标。针对车辆跟踪的特点，同时采集其几何特征参数和灰度均值等颜色参数，使用相似性算子跟踪多目标，能有效地跟踪多目标车辆，一定程度上消除了遮挡问题。 实验结果表明，本文提出的算法可有效地从视频序列中对车辆目标进行识别、分离和跟踪，具有较强的实时性和鲁棒性。