论文部分内容阅读
交通驾驶场景是一个复杂多变的环境,其中包括车辆位置及其运动趋势、行人和交通标志的空间位置等重要信息。视觉选择性注意机制是人的视觉系统在复杂环境中将多余信号过滤掉,并提取重要信息的一种神经机制。根据该注意机制,有经验的驾驶员能够有效地搜索和处理驾驶任务中的目标信息。近年来,随着智能驾驶的研究和发展,越来越多的研究人员通过行为学眼动实验来模拟驾驶过程中的认知活动,并根据实验中采集到的驾驶员眼动数据来研究交通场景中的视觉注意机制和检测模型。本论文利用眼动数据来研究交通驾驶场景中驾驶员的视觉信息处理特征,建立了基于生成对抗网络的交通场景显著性预测模型。该模型可以比较准确地预测交通场景中驾驶员在模拟驾驶过程中的视觉显著性区域(包括主要注视区域和次要区域)。论文内容主要分为以下两部分:第一部分,介绍了眼动数据的来源以及眼动数据的预处理流程,建立了可供深度学习方法训练和测试的数据集。我们采用基础的生成对抗网络(GAN)和循环一致性生成对抗网络(CycleGAN)对本文数据集进行处理和分析,发现这两种基础方法存在欠拟合现象,其显著性评价指标也较低。CycleGAN与GAN相比,前者的预测效果较好,但生成损失的设计方式还有待改进。第二部分,基于CycleGAN的生成损失及其判别方法,本论文提出了一种图像尺度逐渐生长、生成网络多步判别的渐进式训练判别网络模型。本模型主要包含生成模型和判别模型,并设计了合适的生成损失和判别方式。生成模型采用U型的镜像结构,包含渐进式结构的编码器和解码器,其中每个尺度的网络结构都设计成残差网络单元。判别模型对生成图像的各个尺度进行多步判别,逐渐校正生成图像质量。本论文提出的神经网络模型可以生成交通驾驶场景的显著性图,即显著性预测结果。本论文基于自顶向下的视觉注意机制,提出了基于生成对抗网络的交通场景视觉显著性预测模型。本论文的模型可以有效地估计交通驾驶环境中驾驶员视觉搜索的显著性区域和环境周边突发情况,同时也能指出驾驶员注视的主要区域和交通标志等次要目标,可对未来的智能驾驶车辆和辅助驾驶系统等提供有用的理论依据和相关技术支持。