基于深度学习的驾驶员图像行为识别是通过深度学习网络从驾驶员图像中提取相关特征进行驾驶行为识别。与传统基于视频的行为识别算法相比,基于深度学习的驾驶员图像行为识别算法更适用于实际场景。本文首先通过实验对几种主流卷积神经网络的性能进行评估。实验结果显示,基于主流的卷积神经网络模型在解决驾驶行为识别问题上的表现并不出色。因此本文根据驾驶行为识别问题的特点,对VGG-19,RCNN模型框架做了一定的改进工作并设计了三种新的驾驶行为识别模型。论文的主要内容如下:(1)四种主流卷积神经网络模型的评估。卷积神经网络在物体分类领域具有优秀的表现,而驾驶行为识别本质上也属于分类问题。因此本文首先研究了四种近年来最具有代表性的卷积神经网络,并通过实验从驾驶行为识别准确率以及识别时间上评估它们的性能。(2)基于RCNN的多区域特征学习模型研究。实验表明,主流的卷积神经网络模型在解决驾驶行为识别问题上表现并不出色。主要原因是驾驶行为识别问题虽然属于分类问题,但不同的驾驶行为之间特征差异较小,与传统的物体分类问题有所区别。为了进一步提升驾驶行为识别准确率,本文借鉴图像细粒度分类问题的解决思路,对RCNN模型框架的候选区域生成算法以及卷积神经网络模块进行了一定的改进,设计了一种基于RCNN的多区域特征学习模型。该模型能够将驾驶员头部、方向盘以及全局图像的特征信息相结合进行驾驶行为识别。实验结果表明,与主流的卷积神经网络模型相比,该模型能够显著地提升驾驶行为识别准确率。(3)基于人体关键点特征的驾驶行为识别算法研究。尽管基于RCNN的多区域特征学习模型已经显著提升了驾驶行为识别准确率,但是该方法有时会出现局部区域特征信息丢失的问题,对驾驶行为识别准确率造成了一定的影响。针对该问题,本文沿用基于RCNN多区域特征学习模型的思路,将人体关键点定位模型与改进的VGG-19模型相结合,设计一种基于人体关键点特征的驾驶行为识别模型。该模型能够将多个人体关键点特征与全局特征相结合进行驾驶行为识别。实验表明,与基于RCNN的多区域特征学习模型相比,该模型进一步提升了驾驶行为识别准确率。(4)基于人体关键点特征细分类的驾驶行为识别算法研究。基于人体关键点特征的驾驶行为识别模型在某些驾驶行为上识别精度仍然较低,模型的学习能力有待进一步提升。本文借鉴相关文献中将中层特征引入模型的思路,设计了一种基于人体关键点特征细分类的驾驶行为识别模型。该模型是在基于人体关键点特征的驾驶行为识别模型的基础上,引入了关键点部位动作类别特征。根据不同的特征融合方式,模型共有三种结构形式。实验结果证明,引入关键点部位动作类别特征能够有效增强模型的学习能力,显著提升驾驶行为识别准确率。