随着公路里程和汽车保有量的持续增加,不仅推动了交通运输的发展,也造成了交通事故的频发。而交通事故中90%都是驾驶员人为因素造成的,其中包括驾驶员打电话,玩手机等不安全操作,因此针对驾驶员不安全行为的检测研究已经成为当前智能交通系统的研究热点。当前研究方法大多是基于RGB数据进行检测,易受到光线变化、背景遮挡等干扰,在实际应用中存在较多缺陷。而随着深度摄像头的发展,RGB-D相机成本降低,精度提升,越来越多研究人员提出采用RGB-D相机对行为检测算法进行研究。本文主要研究基于RGB-D的驾驶员不安全行为检测方法。驾驶员行为检测由数据采集与预处理环节、特征提取环节和特征融合分类环节。综合考虑这三个环节,本文提出了基于RGB-D的驾驶员不安全行为检测方法,主要工作为以下三个方面:第一,在数据采集和预处理环节,首先本文利用RGB-D标定数据进行配准,提高数据可靠性;其次,针对深度图像因为干扰产生的空洞噪声,本文提出基于RGB信息的深度图像空洞修复算法,结合联合双边滤波及中值滤波方法,利用彩色信息的相似性筛选邻域深度值填充空洞,对比单一形态学和单一滤波方法可以有效对深度图像空洞修复和去噪;最后,为了减少特征检测中背景和光线变化干扰,本文采用了RGB-D+背景建模(Vi Be)的驾驶员目标检测算法,实验结果表明本文方法在不同光照环境下驾驶员目标准确率均达到90%以上,算法鲁棒性和准确性明显高于基于单一图像的Vi Be算法。第二,在特征提取环节,本文设计了手臂特征、头部特征和眼部特征三个不同特征模块作为驾驶员行为特征。本文选择手臂关键骨骼点在RGB-D图像中的坐标和深度值作为手臂特征提取模块中输出,利用6个面部关键点建立三维头部模型从而求解头部姿态角作为头部特征模块输出,使用圆形霍夫变换、圆形Gabor滤波和亮度信息匹配三种方法对驾驶员虹膜精准定位,根据虹膜和眼角位置判断眼睛开闭状态和计算视线估计量作为眼部特征模块输出。第三,在特征分类环节,本文采用Real Ada Boost强学习算法用于多特征融合分类,为了提高分类器的鲁棒性,本文选择决策树作为弱分类器来降低对缺失值的敏感。本文在实验室采集的模拟驾驶舱250个驾驶员行为样本对基于RGB-D的多特征+Real Ada Boost的分类方法进行测试,结果表明驾驶员不安全行为检测准确率达90%以上,驾驶员行为类型检测准确率达85%以上,能够有效检测驾驶员状态。对比实验结果表明,Real Ada Boost分类器准确率优于KNN分类算法,基于RGB-D的多特征方法准确率明显高于基于RGB的多特征方法和基于单一特征的方法,同时发现三个模块特征中手臂特征是本文提取特征中最显著影响驾驶员不安全行为检测的特征。本文基于RGB-D对驾驶员不安全行为检测进行研究,综合颜色和深度信息提高了检测的准确性和鲁棒性,应用到驾驶安全辅助驾驶,可以有效预警驾驶员不安全行为,保障道路安全。