论文部分内容阅读
在先进驾驶辅助系统及自动驾驶汽车中需要一系列的辅助技术来进行安全驾驶,在此类技术中,基于深度学习的计算机视觉算法尤为重要。然而,现阶段鲜有利用计算机视觉进行交通安全危险接近评估研究,交通危险接近场景(导致车辆发生事故的危险情况的场景)没有得到重视,无人驾驶很少有机会学习这些场景。因此,使用基于深度学习的计算机视觉算法对道路场景进行道路交通危险接近评估研究很有必要。针对以上问题,本文立足于传统交通安全危险接近评估研究,利用基于深度学习的计算机视觉算法,为车辆行驶记录仪提供实时道路交通危险接近评估研究信息。论文主要工作如下:(1)道路使用者识别方法研究:本文需要从行车记录视频中识别道路使用者,即识别视频中每帧720×1280图片中包含的小汽车、客车、等各种机动车非机动车以及行人等道路使用者,最终获取每帧图片对应的道路使用者卷积特征映射集合作为道路交通危险接近特征画像模型的输入和道路交通危险接近评估研究模型的部分输入。本文道路使用者识别方法基于三种深度学习模型,分别是faster R-CNN、YOLO以及SSD,分析三种道路使用者识别方法的优缺点,为交通危险接近特征画像模型和交通危险接近评估研究模型的建立奠定基础。(2)道路交通危险接近特征画像(attention drawing)方法研究:为了更好地描述可能发生事故的道路使用者,本文研究一种生成式模型用于道路交通危险接近特征画像,主要有基于dynamic-spatial-attention的生成式模型和基于class activation maps的生成式模型。在道路交通危险接近特征画像方法中,我们根据道路使用者识别结果,分析并比较两种方法优缺点,通过道路使用者的大小和相对位置对其生成一组权重用于更好地描述可能发生事故的道路使用者。(3)道路交通危险接近评估模型研究:基于道路使用者识别方法和道路交通危险接近特征画像方法的研究结果,本文基于几种循环神经网络的变体研究道路交通危险接近评估模型,分别是长短时记忆网络(LSTM),准递归神经网络(QRNN),以及基于Inception单元的准递归神经网络(QRNN-Inception),分析并比较三种模型优缺点用于更加准确及时地进行道路交通危险接近进行评估研究并提供预警信息。(4)道路交通危险接近评估研究框架研究:结合上述三个研究工作的研究结果,本文研究道路交通危险接近评估研究的整体框架。首先,研究用于及时预警的损失函数,包括交叉熵损失函数、Adaptive Loss for Early Anticipation(AdaLEA)以及Positive Favored Loss for Early Anticipation(PF-LEA),分析并比较三种及时预警损失函数优缺点;其次,建立基于激励神经网络的模型优化框架,用于同步优化道路交通危险接近特征画像模型和道路交通危险接近评估研究模型。综合上述研究结果,本文集成了基于faster R-CNN的道路使用者识别模块、基于类激活映射机制(class avtivation map,CAM)的道路交通危险接近特征画像模型(TNFPGM)以及基于QRNN-Inception和PF-LEA损失函数的道路交通危险接近特征评估研究模块,并提出同时优化TNPF-GM和QRNN-Inception的优化框架,最终为道路交通危险接近状况进行评估。