近年来,随着城市交通的快速发展和计算机性能的提升,城市交通开始变得越来越智能。视频目标检测和追踪作为计算机视觉领域中的两个重要组成部分,在智能交通管理上有着不可替代的作用。在车辆违规行为的监管上,不按导流方向行驶、占用应急车道等违章行为依然通过人为监督的方式进行实现。人为监督存在效率较低、人力资源浪费严重的问题。而要智能地检测车辆违章行为,首先应检测到车辆并追踪,然后识别车辆行为。因此本文对车辆行为识别进行了研究。车辆行为识别可以广泛的应用于高速公路、桥梁、隧道等场景检测违章行为,提高执法效率,减少交通事故。本文重点研究了监控视频下的车辆检测算法、车辆跟踪算法、多视角车辆行为识别算法,主要内容如下:第一,提出了一种结合帧差法和形态学的选择性前景提取算法(Adaptive Selective Foreground Extraction,简称ASFE)。ASFE是针对间歇性运动的目标提出的,通过两种不同的背景模型更新方式,解决了常规前景提取算法不能检测静止目标的问题。同时,ASFE算法通过形态学处理和阴影去除模块,使得前景提取效果得到了提升。ASFE在检测间歇性运动的目标时取得了不错的效果。第二,提出了一种基于目标中心和候选框的度量。针对目标追踪中定位框不准的问题,本文采用了一种基于目标检测的匹配算法代替了目标追踪算法,得到了目标行驶轨迹。为了提升该目标匹配算法的性能,本文提出了一种基于目标中心和候选框的度量方式。该度量方式结合了检测得到的目标候选框和目标中心坐标,改善了远处目标度量较小和近目标度量较大的问题,在对车辆的匹配过程中取得了不错的效果。第三,探讨了一种基于相机标定的车辆行为识别算法。针对监控视频拍摄角度不同而导致的同类车辆轨迹在不同视频中表现不同的情况,本文将相机标定加入了车辆行为识别,结合仿射变换对车辆行为轨迹进行投影,将车辆行为轨迹投影成俯视图,减弱了拍摄角度的影响。同时,我们设计了一种车辆行为特征来记录车辆行为信息,通过车辆行为特征对车辆行为进行了分类。