近年来,随着国家经济快速发展,拥有汽车的家庭日益增多,道路上机动车数量不断增长,频繁的交通事故已成为当今国家面临的主要问题。而在所有的重大交通事故中,疲劳驾驶是导致事故发生最重要的因素之一,因此对驾驶员精神状态评估方法的研究成为一个重大课题。本文在实验室搭建了模拟驾驶试验平台,设计严格实验数据采集规范,同时用视觉传感器和Emotiv Epoc装置采集人脸图像和脑电图,建立本文实验的数据库样本,并通过以下几个方面对驾驶员精神状态的检测进行研究。针对视觉信息,本文提出Adaboost算法和Haar特征检测人脸图像,生成卷积神经网络的样本库,设计卷积神经网络识别框架,并对其结构分析和参数优化。引入不同大小卷积核模型提取面部局部特征和全局特征,并通过设计1×1卷积核对网络进行降维,提高识别准确率和训练时间。并与传统手动提取特征方法和传统卷积神经网络模型进行对比,实验表明,本文设计的网络训练时有更少的能量损失,测试时有更高的识别准确率和更少的训练时间。针对脑电信息,首先通过模拟驾驶系统和Emotive Epoc脑电帽采集人的脑电信号,再通过巴特沃斯滤波器去除工频干扰,HHT变换去除脑电噪声,独立成分分析消除眼电干扰。通过离散小波变化和小波重构对节律波能量进行分析,提取出反应驾驶员精神状态脑电特征,输入到SVM分类器进行训练,建立分类模型识别出驾驶员的精神状态。实验结果表明,脑电信号是衡量人体行为状态的金标准,能够很好识别出驾驶员的精神状态。本文对多源信号融合方式进行分析,确定在决策层进行融合。分析了常用多源信号融合方法,选择D-S证据理论对视觉信号和脑电信号进行融合,并根据本文的任务特点,对概率分配函数和合成规则进行改进,建立视觉和脑电融合式的分类器。实验结果表明,通过信息融合的方法建立的分类器比单一信息分类器的识别效果更好。