当今,汽车出行给人们带来便利的同时也给交通安全增加了很大的压力。其中,长时间的驾驶导致的疲劳行为以及不规范的分心驾驶行为是导致交通事故频发的主要原因。为此,本文主要研究了基于机器视觉的驾驶行为分析识别方法以及设计了一套实时边缘系统,其主要工作如下:首先,本文研究了基于迁移学习的驾驶行为识别方法。该部分主要分为对驾驶行为识别方法的研究以及图像增强技术的技术研究,以及公开数据集上的实验设计与分析。驾驶行为的识别方法研究主要包括卷积神经网络的理论研究以及主流模型的研究,包括Alex Net、VGGNet、Google Net、Res Net等模型进行研究,探究了机器视觉方法在驾驶行为分析的可行性。其次,本文针对疲劳行为进行识别分析研究。该部分主要包括对于驾驶疲劳检测方法的研究以及疲劳行为识别系统的设计与实现。其中驾驶疲劳检测方法的研究主要包括基于HOG的人脸检测以及人脸关键点检测,最后使用PERCLOS原理对疲劳行为进行识别。基于疲劳检测的方法基础,本文设计了一套疲劳行为的实时识别系统,在复杂场景中,实现了对于闭眼与哈欠行为的识别,综合判断驾驶员的疲劳状态。然后,本文针对驾驶分心行为进行识别分析研究。该部分包括对于NJUPT数据集的采集、数据集的选取研究、模型的训练与评估以及多权重驾驶行为的分析。在数据集采集与数据集选取研究部分,使用同一个模型VGG16在不同的数据集上进行训练最终选取泛化能力最强的数据集组合。在对图像数据集进行预处理之后,对该数据集进行多个模型的测试评估,综合平衡准确率与推理速度的结果,选取Shuffle Net V2作为边缘系统所使用的模型并进行模型的改进,使分心行为总体识别率由82%提高到86.3%。最后,本文实现了一种基于机器视觉的驾驶行为边缘系统。主要包括系统设计以及系统功能测试两个部分。系统设计部分主要介绍了硬件与软件的设计与实现。系统功能测试部分实现了在实际环境中功能测试,对驾驶员的行为进行了实时检测,达到了80%以上的正确率,基本满足实时识别的要求。