图像标记的任务是将图像中每个像素标记到它所属的标记类别,它是场景理解的重要步骤和基础,在计算机视觉领域有着重要的作用。行车视角捕捉到的交通场景图像信息能准确的记录和表达行车过程中所遇到真实交通场景。对行车视角的交通场景图像进行标记,能够为智能驾驶设备以及城市交通调度监控系统的统计以及决策提供重要参考信息。针对行车过程中所搜集的城市交通场景数据,研究了单帧图像语义标记以及由多帧构成的图像序列的标记方法,提出了具有更高准确性和鲁棒性的语义标记模型和视频语义标记方法。本文的主要工作以及研究成果如下:针对单帧交通场景图像,提出了一种能够有效加强图标记效果的多尺度级联层次模型。在单一尺度条件下对输入图像进行自动标记过程中,由于不同语义对象在不同分辨率下有不同的表现力,利用一种标记标准去处理图像中不同表现力的区域显然比较牵强,更不能够十分准确的显示标记对象的表达效果。本文第一阶段工作中提出的模型利用对不同分辨率的图像的标记,即列出了不同表现力的语义对象,构建了层次标记参数影响和效果反馈的级联分层关系,利用迭代算法,最终达到优化标记效果的目的。为了能够对模型进行客观的测试,我们为模型的运行设计了一种有效的迭代算法,并证明了其收敛性。针对由多帧图像序列组成的交通场景视频,我们提出了一种标记对象级别的超体元图跟踪标记方法,对行车视角的交通场景视频进行多语义标记。超体元能够有效的表示前景在时间和空间上的变化,我们对超体元图进行了扩展,构建出一种能够表示多标记对象结构的超体元图,通过对超体元集合所构成的标记对象在时间演进的过程中有效跟踪和预测,使得该图能够保持交通场景中一些标记对象(如道路、天空、建筑)的相对稳定结构。这种超体元的像素集合的跟踪能够长时间引导标记传播,应对标记对象遮挡、形变以及颜色等变化。最后,除了编程实现多尺度级联层次模型和超体元图跟踪算法以及证明方法的有效性之外,我们依据PASCAL标准构建了包含大量有效实验数据的行车场景数据集,并根据相应需求设计和实现了一系列针对数据集的应用工具,以供其他研究者使用。