无人驾驶系统是一个非常庞大,复杂的各种高级模块组成的综合性系统,在满足基本驾驶功能的同时,更重要的是作为智能系统,需要和人类进行交互,分析人类的驾驶意图,将人类意图结合到驾驶策略中。同时,为了能够更加安全的确保驾驶过程的安全以及驾驶意图的正确执行,智能驾驶系统需要能够感知并分析驾驶员/乘客的状态,从而确保命令的正确下达与驾驶过程的相对安全,因此本文从两方面出发建立基于深度学习的驾驶决策分析系统,一方面基于驾驶员外部的状态检测数据,另一方面基于驾驶员自身的意图信息,结合这两方面构建可信的驾驶意图分析系统:1.基于驾驶员外部数据的决策分析方法（a）基于深度学习的轻量级驾驶状态分析系统,该系统可以实时的分析驾驶员在驾驶舱中的状态与疲劳度,并在非正常状态发生时及时的给出报警,避免不愉快事件的发生。本文基于深度学习技术,开发了基于MobileNet的驾驶状态分类算法,并且提出了加权池化方法用于提升整体分类精度,实时捕捉并分析驾驶员的当前状态确保驾驶员处于一个安全可信的状态之下。（b）本文详细的调研并分析了当前国内外比较实用的一些基于视觉的疲劳监测算法,该部分主要作为驾驶状态分析系统的补充部分。在能保证精度以及实用性的情况下,基于计算机视觉技术集合特征工程对人脸部位的关键点进行提取,随后利用人脸部位的关键点信息整理出一套可靠的算法用于定义疲劳状态,并且设计了详细的实验过程证明方法的实用性。2.基于驾驶员自身的意图决策分析该系统基于深度学习知识体系,结合计算机视觉技术以及自然语言处理技术,构建多模态信息融合的场景理解模型,该系统会基于人类下达的指令在场景中找出相对的目标。为实现高精度且高效的驾驶意图分析与理解算法,本文提出了针对不同模态特征的提取器以及不同模态下的注意力机制,结合基于深度学习的语音识别技术以及目标检测技术构建起了整个分析与理解系统。基于驾驶员主动的交互诉求,进行驾驶意图分析指导无人驾驶,让无人驾驶更便利更智能与实用。本文设计两大核心内容都是为了面向未来的无人驾驶所服务的,基于意图分析达成人-机-环境三方交互,让人们可以介入无人驾驶过程,从而信赖无人驾驶,解决无人驾驶自主达成的目的。并且利用驾驶状态分析系统确保驾驶员处于可信赖状态,可以针对出现的异常情况进行处理,确保整体驾驶过程的安全可靠。因此本文提出的驾驶决策分析系统的实现整合了驾驶员意图分析技术以及驾驶员状态监控技术,从而构建可信可靠可交互的未来无人驾驶技术。