论文部分内容阅读
交通场景复杂多变,为汽车配备安全可靠的辅助驾驶系统可以大大降低交通事故的发生,提高城市交通运行效率。有经验的驾驶员因选择性注意机制,可以快速定位场景中显著区域,过滤掉冗余信息,抽取与驾驶活动相关的关键信息。因此模仿人类的选择性注意机制,预测交通场景下的显著性区域或者目标,对辅助驾驶系统的发展具有重要的研究意义。本文对复杂交通场景下的驾驶员注意力预测方法展开研究,旨在预测驾驶员的注意力区域或者检测到驾驶员关注的目标。本文对空间特征的充分挖掘、运动信息的提取和显著目标的估计进行了探讨,提出了相关的模型和方法,有效的模拟了驾驶员的选择性注意机制。本文的主要内容及成果如下:
(1)本文从场景解析的角度出发,将驾驶员注意力预测任务转化成对交通场景中区域进行显著性与非显著性分类的问题。基于深度学习的方法,本文提出了一种基于全卷积神经网络的驾驶员注意力预测模型,并使用多种损失函数组合的方式来优化网络模型。输入复杂交通场景下的视频图像,预测出场景中驾驶员关注的区域,并与传统的计算模型进行对比,充分证明了该方法的有效性。
(2)本文提出了显著目标引导的驾驶员注意力融合网络(Salient Object-Guided Attention Fusion Network for Drivers,SOGAF-Net)。该方法首先针对小尺寸的目标漏检及误检的问题,在全卷积网络的基础上提出了一种显著目标引导的模块,对目标检测网络的高级语义特征进行有效融合,得到包含不同尺度显著目标的语义特征。然后将骨干网络提取得到的空间特征与显著目标语义信息进行融合,增强显著目标的权重。最后使用Conv-LSTM网络对融合后的特征图提取时空信息,捕捉连续视频帧内的显著时序特征,得到动态交通场景下的驾驶员注意力预测网络SOGAF-Net,增强了显著小尺寸目标的检测精度,保证了预测结果在时序上的连贯。
(3)本文提出了短时特征诱导的感知融合网络(Adaptive Short-Temporal Features Induced Aware Fusion Network,ASTAF-Net)。首先针对SOGAF-Net表现出对于运动信息提取能力较弱的问题,提出了动态特征提取模块,利用前后帧之间空间特征,计算显著运动特征,再与多尺度的空间特征进行融合。然后针对空间特征提取部分,提出了关联分析单元,通过组合不同感受野卷积的方式增强上下文信息。最后对预测结果存有过量冗余区域的问题,本文对数据库TDV和DADA-2000中的驾驶员关注目标进行了标注,在注意力区域预测的基础上,结合目标检测算法,添加了目标显著性估计的网络分支,得到了最终的短时特征诱导的感知融合网络ASTAF-Net,用于驾驶员的注意力预测,找到交通场景下的显著性区域和显著目标。
本文提出的方法在多个数据库上进行了模型训练与测试,与大量的先进模型进行对比,结合目前先进的评估方式进行了定量分析,实验结果充分表明本文提出的方法能够有效的预测交通场景下驾驶员的注意力区域。
(1)本文从场景解析的角度出发,将驾驶员注意力预测任务转化成对交通场景中区域进行显著性与非显著性分类的问题。基于深度学习的方法,本文提出了一种基于全卷积神经网络的驾驶员注意力预测模型,并使用多种损失函数组合的方式来优化网络模型。输入复杂交通场景下的视频图像,预测出场景中驾驶员关注的区域,并与传统的计算模型进行对比,充分证明了该方法的有效性。
(2)本文提出了显著目标引导的驾驶员注意力融合网络(Salient Object-Guided Attention Fusion Network for Drivers,SOGAF-Net)。该方法首先针对小尺寸的目标漏检及误检的问题,在全卷积网络的基础上提出了一种显著目标引导的模块,对目标检测网络的高级语义特征进行有效融合,得到包含不同尺度显著目标的语义特征。然后将骨干网络提取得到的空间特征与显著目标语义信息进行融合,增强显著目标的权重。最后使用Conv-LSTM网络对融合后的特征图提取时空信息,捕捉连续视频帧内的显著时序特征,得到动态交通场景下的驾驶员注意力预测网络SOGAF-Net,增强了显著小尺寸目标的检测精度,保证了预测结果在时序上的连贯。
(3)本文提出了短时特征诱导的感知融合网络(Adaptive Short-Temporal Features Induced Aware Fusion Network,ASTAF-Net)。首先针对SOGAF-Net表现出对于运动信息提取能力较弱的问题,提出了动态特征提取模块,利用前后帧之间空间特征,计算显著运动特征,再与多尺度的空间特征进行融合。然后针对空间特征提取部分,提出了关联分析单元,通过组合不同感受野卷积的方式增强上下文信息。最后对预测结果存有过量冗余区域的问题,本文对数据库TDV和DADA-2000中的驾驶员关注目标进行了标注,在注意力区域预测的基础上,结合目标检测算法,添加了目标显著性估计的网络分支,得到了最终的短时特征诱导的感知融合网络ASTAF-Net,用于驾驶员的注意力预测,找到交通场景下的显著性区域和显著目标。
本文提出的方法在多个数据库上进行了模型训练与测试,与大量的先进模型进行对比,结合目前先进的评估方式进行了定量分析,实验结果充分表明本文提出的方法能够有效的预测交通场景下驾驶员的注意力区域。