汽车保有量的不断增加在带来便利的同时也给交通增加了巨大的压力,不规范的驾驶行为是导致交通事故频发的重要原因,因此对驾驶行为进行监测与规范应成为避免交通事故的重要手段。针对上述问题与需求,本文做了以下几项工作:首先,本文研究了基于迁移学习的驾驶行为识别方法。该部分内容主要分为卷积神经网络的研究、图像增强技术和驾驶行为识别的仿真实验设计与分析。针对卷积神经网络的研究,本文先介绍了卷积神经网络的基本原理以及当前业界流行的Alex Net、VGG、Xception、Inception Res Net和Efficient Net等模型的基本结构。另外,本文在State Farm图像数据集的基础上进行了基于迁移学习的模型训练,并对模型性能进行了评估。其中,State Farm中包括安全驾驶,发短信,操作收音机以及与乘客交谈等十种常见的驾驶行为。最后,仿真实验在上述五种模型上进行了测试,准确率最高达到了89.32%。但是基于图像的驾驶行为识别存在着难以识别相似动作的瓶颈,因此考虑将声音加入识别过程。其次,本文研究了基于VAD算法的人声检测。该部分内容主要介绍了相关音频数据集、常见的语音处理方法、VAD算法的人声检测原理和人声检测实验设计与结果分析。该部分最后实现了基于VAD算法的人声检测实验,在共计21424条音频数据上的准确率达到99.98%且单条运行时间为9.72ms。最后,本文提出了一种基于多模态深度学习的驾驶行为识别方法。该部分内容主要包括多模态深度学习的框架介绍、多模态数据的融合、仿真实验设计与结果分析。首先对多模态深度学习的理论与方法框架进行阐述。其次,在图像与音频研究工作的基础上,该部分将图像与音频结合,利用人声检测将驾驶行为图像划分为有人声的驾驶行为图像和无人声的驾驶行为图像。最后,仿真实验结果从原本的89.32%提高到96.05%。结果表明,基于多模态深度学习的驾驶行为识别方法是行之有效的。此外,本文设计了一套驾驶行为识别系统可用于驾驶行为的识别。