论文部分内容阅读
基于视频图像处理的交通对象检测与分析是智能交通系统研究的重要组成部分。随着视频监控硬件技术和视频图像处理软件技术的快速发展,智能交通视频监控分析受到了广泛关注,并开展了大量研究和实际应用。但在复杂交通场景下,交通对象检测与分析仍然存在未能较好解决的难点问题。 本论文中,在由粗到细的目标检测及分析框架下,提出了新的交通对象检测与分析方法来有效解决背景杂乱、交通对象姿态多变和光照多样等难点问题。本文选取了车牌和驾驶员两种典型的交通对象作为研究目标,主要工作及创新点包括以下几个方面: 1.本文逐层深入地提出基于极值区域(Extremal Regions,ERs)和混合判别限制玻尔兹曼机(HDRBM)的车牌检测及识别方法。在由粗到细(Coarse-to-fine)框架基础上,提出先根据车牌区域的纹理和颜色特性来提取图像中可能的车牌区域作为车牌待选区域,即实现车牌粗定位。然后在车牌待选区域的多个颜色通道上进行极值区域提取并将这些区域组合,即实现车牌字符的粗定位。接着利用AdaBoost来计算每个待选字符区域的字符概率,根据条件概率值来删选车牌待选字符区域,从而实现车牌字符的细分割,并首次提出利用混合判别限制玻尔兹曼机来识别车牌。本文提出的这种由粗到细的车牌检测识别方法快速且鲁棒。由于本文提出的方法是基于单个车牌字符条件概率来实现车牌细定位,所以该方法能够有效应对交通场景下车牌姿态变化等问题。由于是在多个颜色通道下提取极值区域作为车牌字符待选区域,提出的方法能够应用于复杂交通场景下的多变光照环境。本文在全天候实际交通监控场景下拍摄的大量图片中进行了定性和定量的测试实验,并和几种已有车牌识别方法进行比较,提出的方法能实现较好的车牌检测和识别率。 2.提出了一种新的耦合级联回归方法(Coupled Cascade Regression,CCR)来实现驾驶员脸部关键点检测和头部姿态估计。和传统先检测脸部关键点位置再根据关键点位置来拟合三维脸部形变模型估计头部姿态的方法不同,提出的CCR能同时实现脸部关键点的检测和头部姿态估计。本文中,同样基于由粗到细(Coarse-to-fine)的思想,首先通过人脸检测实现驾驶员脸部关键点(眼角点、鼻梁、嘴角点等)的粗略定位,然后提出耦合级联回归(CoupledCascade Regression,CCR)来迭代更新脸部关键点位置及对应三维脸部模型中的姿态参数直至收敛,从而实现关键点细定位。在每一步迭代更新步骤中,CCR将机器学习和三维脸部形变模型结合,能够同时优化关键点提取和头部姿态估计两个任务。CCR的强大学习能力得益于级联回归,而拟合三维脸部形变模型能够很好获取头部姿态和关键点位置之间的潜在映射关系。提出的CCR简单且高效,而且大量试验证明提出的方法比已有的基于传统级联回归方法都准确,满足实际驾驶员监控系统的实时性准确性要求。 3.提出了一种新的级联联合回归方法(Joint Cascade Regression,JCR)来同时实现驾驶员眼中心检测及睁眼闭眼状态识别。当完成驾驶员脸部关键点检测后,基于Coarse-to-fine的思想,根据脸部关键点来提取大致的眼部区域,即实现人眼的粗定位。和传统先检测人眼位置再进行人眼二值状态识别不同,提出级联联合回归(Joint Cascade Regression,JCR)来同时实现驾驶员眼中心的检测和状态的识别。提出将二值状态(睁眼/闭眼)平滑为0到1的睁眼概率值,在级联联合回归的每一步迭代步骤中,根据当前计算的局部图像特征来更新人眼中心和睁眼概率,然后将睁眼概率作用于下一步的图像特征上,从而实现了闭眼状态下纹理外观特征对人眼中心检测无影响的数学表达。基于人眼关键点的眼中心检测方法需要大量带标签的训练数据集,提出用仿真人眼来学习模型(Learning-by-Synthesis),从而优化检测结果。和几种已有方法相比,在大量公开数据集取得了最好的试验结果,这也验证了提出方法的有效性,同时,提出的算法每秒能处理15张图像,满足实时性要求。