复杂交通场景下的驾驶员注意力预测方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:jiexp
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
交通场景复杂多变,为汽车配备安全可靠的辅助驾驶系统可以大大降低交通事故的发生,提高城市交通运行效率。有经验的驾驶员因选择性注意机制,可以快速定位场景中显著区域,过滤掉冗余信息,抽取与驾驶活动相关的关键信息。因此模仿人类的选择性注意机制,预测交通场景下的显著性区域或者目标,对辅助驾驶系统的发展具有重要的研究意义。本文对复杂交通场景下的驾驶员注意力预测方法展开研究,旨在预测驾驶员的注意力区域或者检测到驾驶员关注的目标。本文对空间特征的充分挖掘、运动信息的提取和显著目标的估计进行了探讨,提出了相关的模型和方法,有效的模拟了驾驶员的选择性注意机制。本文的主要内容及成果如下:
  (1)本文从场景解析的角度出发,将驾驶员注意力预测任务转化成对交通场景中区域进行显著性与非显著性分类的问题。基于深度学习的方法,本文提出了一种基于全卷积神经网络的驾驶员注意力预测模型,并使用多种损失函数组合的方式来优化网络模型。输入复杂交通场景下的视频图像,预测出场景中驾驶员关注的区域,并与传统的计算模型进行对比,充分证明了该方法的有效性。
  (2)本文提出了显著目标引导的驾驶员注意力融合网络(Salient Object-Guided Attention Fusion Network for Drivers,SOGAF-Net)。该方法首先针对小尺寸的目标漏检及误检的问题,在全卷积网络的基础上提出了一种显著目标引导的模块,对目标检测网络的高级语义特征进行有效融合,得到包含不同尺度显著目标的语义特征。然后将骨干网络提取得到的空间特征与显著目标语义信息进行融合,增强显著目标的权重。最后使用Conv-LSTM网络对融合后的特征图提取时空信息,捕捉连续视频帧内的显著时序特征,得到动态交通场景下的驾驶员注意力预测网络SOGAF-Net,增强了显著小尺寸目标的检测精度,保证了预测结果在时序上的连贯。
  (3)本文提出了短时特征诱导的感知融合网络(Adaptive Short-Temporal Features Induced Aware Fusion Network,ASTAF-Net)。首先针对SOGAF-Net表现出对于运动信息提取能力较弱的问题,提出了动态特征提取模块,利用前后帧之间空间特征,计算显著运动特征,再与多尺度的空间特征进行融合。然后针对空间特征提取部分,提出了关联分析单元,通过组合不同感受野卷积的方式增强上下文信息。最后对预测结果存有过量冗余区域的问题,本文对数据库TDV和DADA-2000中的驾驶员关注目标进行了标注,在注意力区域预测的基础上,结合目标检测算法,添加了目标显著性估计的网络分支,得到了最终的短时特征诱导的感知融合网络ASTAF-Net,用于驾驶员的注意力预测,找到交通场景下的显著性区域和显著目标。
  本文提出的方法在多个数据库上进行了模型训练与测试,与大量的先进模型进行对比,结合目前先进的评估方式进行了定量分析,实验结果充分表明本文提出的方法能够有效的预测交通场景下驾驶员的注意力区域。
其他文献
普适计算以用户为中心,追求透明地提供智能服务,其重要产物—一情景感知系统已广泛应用于智能家居、智慧医疗和智慧旅游等领域。目前,面向不同场景实现不同功能的情景感知系统层出不穷,但缺少统一的系统整体评估标准以及具体且有效的系统自适应优化方法。另一方面,在高动态智能环境下,异构采集设备的错误、网络延迟等原因导致情景信息无可避免地存在不一致性,使情景信息质量较低并影响系统做出正确的推理及决策,极大降低了用
基于图像的文字检测与识别技术是计算机视觉领域的重要任务之一,光学字符和自然场景文字是两类重要的辨识目标。光学字符识别是指,从扫描文档图像中,提取其中的文字信息,目前扫描文档文字识别技术已相对成熟。另一类是自然场景文字识别,提取自然场景图像中的文字,由于自然场景下背景复杂,成像质量不佳,文字样式多样,识别自然场景中的文字的难度远高于前者,目前主流的文字检测与识别方法还不足以满足实际工业应用的需求。本
学位
超分辨率恢复是计算机视觉和图像处理中一个重要的研究问题。超分辨率恢复是一种基于软件算法的技术,具体是指通过对数字图像信号的分析,将一帧或多帧低分辨率图像进行恢复重建,将其转化成更高分辨率图像或视频的技术。在实际中,超分辨率恢复有着广泛应用,如医疗图像分析、视频监控、生物特征识别和安全性等领域。除了提升图像质量外,它还有助于提升其他计算机视觉任务的效果。因此,对提升超分辨率恢复技术的研究具有非常重要
海洋中蕴藏着丰富的自然资源,探索海洋逐渐成为世界经济发展的新动力,各海洋国家已经把经济发展重点从陆地转向海洋,不断加大对海洋的开发力度,作为发展中国家的中国,人口基数大,土地资源紧张,发展海洋经济迫在眉睫。  探索和开发海洋的前提条件是具有一定下潜深度的深潜器,工欲善其事必先利其器,一国深潜器的开发利用水平直接关乎探索海洋的深度和广度。深潜器的结构支撑材料是“海洋金属”-钛合金,深海作业过程中钛合
群智能优化算法起源于生物仿生学,起初受启发于各种生物的种种生存和活动行为。自从出现以来,群智能优化技术作为一项重要的优化技术,在工业生产,工程应用和社会生活中都得到了广泛使用,并随之不断进行改进和创新。作为近几年新提出的算法,狮群优化算法具有优秀的机制设计和较大的发展潜力,不失为一种值得深入研究的算法。  在行为模式机制上,狮群算法对草原狮群的围猎进行数学模拟。划分种群为狮王,成年母狮,幼狮三类个
人类交流过程中,80%的信息来源于肢体语言,准确识别人体的动作对改善人机交互有着重要意义。骨骼数据拥有时间和空间两个维度的信息,两个维度之间伴随着共现特征,如何更好的提取和利用时空特征存在很大的挑战。在获取数据的过程中,还存在多视角问题,同一个动作可能出现完全不同的表现,不仅会增加模型构建的难度,同时还存在模型识别率低的问题。  针对骨骼动作识别时空特征提取难的问题,本文提出一种基于图注意力网络的
学位
随着服务机器人在家庭情景中担任重要的角色,自然的人机交互成为影响用户满意度和人机共存舒适度的关键因素之一。如何在人机交互的过程中注重用户情感的识别、并在理解用户情感状态的基础上,让机器人在复杂多变的家庭环境中提供与情感相匹配的舒适度良好的服务,受到研究学者的广泛关注。由于人类情感的表达是一个复杂连续的过程,目前针对人类情感的识别重点逐渐从离散情感识别过渡到连续情感识别,同时单一模态的连续情感识别存
下三角非线性系统是一类被广泛研究的系统,许多工程问题,例如化学反应器系统、机器人机械臂系统及倒立摆系统等,都可以建模为此类系统。在建模过程中,时滞及输入饱和现象往往是不可避免的,它们会影响系统的正常运行,尤其对于下三角非线性时滞系统,输入饱和所带来的不良影响还没有被很好地解决。因此,研究具有输入饱和的下三角非线性时滞系统具有重要的实际意义。然而,已有成果中大多都是运用反步设计方法进行研究的,设计过
近年来,倾转旋翼无人机因为既有旋翼垂直起降的优势、又有固定翼远距离快速飞行能力,逐渐成为无人机领域的研究热点。现有倾转旋翼无人机机构形式多为在固定翼无人机外部添加多副旋翼,增加了无人机自身的重量。同时倾转旋翼无人机在飞行过程中,旋翼下洗流作用在固定翼上表面,使固定翼上下表面压力差变小,降低了固定翼的升力。  本文提出的两栖倾转翼无人机弥补了倾转旋翼的缺陷,有效避免了旋翼产生的下洗流对固定翼造成的影
反馈非线性系统的研究是控制理论核心内容之一,已被应用到工业、国防及航天等领域,吸引了国内外学者的广泛关注.很多实际工程系统,都可以经过适当的变量替换,建模并转化为反馈非线性系统.为了更好的满足实际系统性能需求,针对具有信息约束的控制研究是非常有意义的.在本文中,信息约束可细分为量化约束、状态约束以及输出约束.它们具有节省通信资源、提高系统安全指数等优点.目前,虽然针对具有信息约束反馈非线性系统的控