驾驶员行为识别,是指识别驾驶员在驾驶车辆过程中的异常行为。随着科技和经济的发展,汽车已经成为人们日常生活的重要组成部分,实时识别驾驶员行为并进行告警具有着重要意义和广泛需求。但是,目前这方面的商用产品以及学术研究都相对较少,且大部分都局限于疲劳驾驶的识别。本文基于车载单摄像头视频监控系统,将深度神经网络运用于驾驶员行为识别任务。设计并实现了基于深度学习的驾驶员行为识别及告警系统。对驾驶员行为包括打哈欠、打盹、抽烟和打电话这四种不安全或不文明的驾驶行为进行实时识别。本文主要进行了如下三个方面工作:1.设计了基于深度学习的驾驶员行为识别算法模型,通过单张图像,对驾驶员的四种行为进行分类。使用了MTCNN人脸检测网络提取人脸局部与全局特征,并通过深度残差神经网络ResNet识别驾驶员行为,该算法对四种行为都可以达到97%及以上的正确率;2.针对低功耗计算场景,通过简化网络结构、大幅度优化了模型的运行效率,减少了分类网络的计算量。为了优化模型简化带来的正确率与泛化能力下降,使用CoordConv将位置信息引入模型,以及使用模型压缩领域的知识蒸馏技术训练网络,使模型对四种行为分类依然具有较高的正确率,可以达到94%;3.使用图像序列的处理方法处理驾驶员行为识别问题,在行为识别模型中引入上下文信息,提升轻量化模型的正确率以及泛化能力。基于此思路尝试了两种做法,一种是基于循环神经网络LSTM结构提取图像序列的序列特征,另一种是将多张图像直接作为网络输入。实验证明,这两种改进方法都比基于单张图像的方法具有更好的表现。真实的车载场景数据下的实验结果证明,本文提出的驾驶员行为识别算法模型有着良好的准确率表现。配合车载实时告警系统,该驾驶员行为算法具有较高的实用价值,且值得进一步研究。