驾驶员路怒症目前已是影响安全驾驶的一个很重要因素,它是由于交通阻塞情况下开车压力与挫折引起的驾驶员愤怒的情绪。“路怒症”驾驶员会袭击他人的汽车,恶意违反交通规则,引发交通事故。路怒症自动检测与预警技术的研究已成为主动安全驾驶技术的重要组成部分。近年来驾驶员路怒症研究得到广泛关注,但大部分的研究主要集中在从心理学、政策、法规方面如何避免怒路症的发生,而针对路怒症自动检测和识别技术的研究还比较少。情感识别领域的研究表明,人的表情和语音是表现情感的两个重要通道。因此,本文在详细分析国内外表情识别和语音情感识别以及驾驶员路怒症检测技术最新进展的基础上,结合Kinect设备所采集的红外、深度信息和语音信息,研究在驾驶条件下驾驶员人脸检测、路怒表情识别、路怒语音情感识别的问题,并提出融合表情和语音的驾驶员路怒症识别方法,最后通过实验进行验证。本文主要工作如下:(1)录制Kinect驾驶员路怒行为数据库。鉴于目前国内外没有基于Kinect较为完备的驾驶员路怒行为数据库,课题组组织并录制了包含驾驶员Infrared-D(红外和深度)信息、驾驶员面部表情Infrared-D信息、驾驶员情感语音数据库。(2)提出融合Infrared-D信息的驾驶员人脸检测方法。该方法首先通过红外和深度信息的融合得到图像中的驾驶员区域;然后,采用卷积网络人脸检测器遍历驾驶员区域图像得到驾驶员人脸的可能位置;进而使用级联的卷积网络人脸检测器进一步缩小驾驶员人脸定位区域;最后,使用NMS(Non-maximum suppression)得到驾驶员人脸最终窗口。该方法和多种现有的方法比较,取得较好的结果,在准确率和召回率平均达到97.3%和84.4%。(3)基于PCANet,提出一种融合面部Infrared-D图像的驾驶员路怒表情识别方法。该方法首先使用驾驶员面部的红外图像和深度图像训练PCANet过滤器,提取面部红外图像和深度图像的特征图,再对得到的特征图分别进行哈希编码,进而对得到的哈希编码图采用叠加操作进行融合,并对融合后的特征图提取直方图特征作为最后的情感特征;最后,采用所提取的情感特征训练SVM,进行驾驶员路怒表情和非路怒表情的识别。该驾驶员路怒表情识别方法的有效性在实验中得到验证,其准确率达到74.6%。(4)提出融合面部表情和语音信号的驾驶员路怒症识别方法。该方法首先采用多任务卷积神经网络从声音信号和说话内容两个方面识别驾驶员语音情感,然后判断驾驶员是否说话,如果不说话则将驾驶员表情识别的结果作为驾驶员路怒症检测的结果;如果说话,则将语音情感识别的结果作为驾驶员路怒症检测的结果;最后,对30s内的驾驶员表情和语音情感识别结果进行投票,投票最多的作为最终驾驶员路怒症的识别结果。