面向自动驾驶的多模态融合3D目标检测算法研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:qinpeizhen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着互联网企业、造车新势力以及传统车企纷纷投入自动驾驶市场,自动驾驶领域呈现出火热的势态。3D目标检测作为自动驾驶车辆感知系统中最重要的一环,其直接决定了自动驾驶车辆是否能够按预期安全运行,这就使得3D目标检测正成为计算机视觉最活跃的研究领域之一。如今,体积更小、性能更强的计算设备得以在车辆上部署,各种模态的传感设备使得车辆对周围环境的建模能力得到增强,3D目标检测的发展迎来了许多机遇;但与此同时,面向自动驾驶的3D目标检测领域仍存在着各种难点与挑战,除了稀疏的点云、小尺寸目标、嘈杂的背景、变化的光照等难点以外,车辆所处的开放道路环境对其可靠性与实时性也提出了很高的要求。为此,针对上述难点与挑战,本文的主要贡献如下:(1)针对道路交通场景中的小尺寸目标点云数量稀少的问题,本文通过分析FPoint Net,在其基础上引入目标RGB深度特征并提出了一种基于多模态融合的3D目标检测方法。该方法包含一个基于RGB深度特征的视锥点云特征融合网络,将目标图像的深度特征作为点云的全局特征,为点云的分类与回归提供点云特征以外的语义信息,并以此提高点云数量稀少时的检测精度。在KITTI数据集上的实验结果表明,本文所提出方法相较于F-Point Net在多个类别上的平均精度均取得了提升,尤其是对于尺寸较小的Pedestrian目标而言。(2)针对上述工作特征融合过程中特征编码固定以及Cyclist类别表观镂空的特点,本文进一步提出了一种基于注意力机制的3D目标检测方法。该方法包含一个基于通道注意力的多模态特征加权融合网络,通过对RGB特征各个通道之间的相关性进行建模以实现对多模态特征的加权融合。在KITTI数据集上的实验结果表明,该方法相较于前者有了进一步的提升,其中Pedestrian类别的平均精度提高了3%以上,各项指标在与其他方法的比较中都取得了前2名。本文方法作为融合多种传感器模态在道路场景中进行3D目标检测的算法,引入目标RGB特征提高了小尺寸目标的检测鲁棒性;注意力机制也使其具备专注于关键信息的能力,从而进一步提高检测的准确性。同时本文方法均能以每秒38帧以上的帧率运行,符合场景的实时性要求。以上这些优势对于安全至上的道路交通场景来说具有重要价值。
其他文献
股市的波动性会对社会经济生活的各个方面产生影响,因此,有效地预测股价的变化趋势不仅影响投资者的收益,而且具有较大的经济和社会价值。但股市的变化受诸多因素的影响,难以准确地对其进行预测。早期的股票研究理论认为,交易数据对未来的预测毫无帮助,之后许多研究学者根据历史数据自动提取出预测股市变化的规律,但这些模型不能捕捉到非平稳数据的变化规律。随着行为金融学理论的发展,传统的时间序列模型不能充分考虑投资者
树枝状聚合物作为具有明确的化学结构和原子数目的三维大分子,具有与线性高分子不同的独特物理、化学性质,使其在诸多领域具有潜在的用途。其中,聚甘油树枝状聚合物(Polyglycerol dendrimer,PGD)由于其良好的生物相容性和稳定性而在生物医学研究领域展现出较好的应用前景。然而,高代数的树枝状聚甘油合成与提纯步骤繁琐,产率低,极大地限制了该类材料的应用。在本文中,我们合成了一组具有树枝状臂
电力系统的安全可靠运行对国民经济的稳定至关重要。由于信息和通信技术的高度集成,当下的电力系统变得越来越容易受到网络攻击。如果系统的网络信息为攻击者所知,那么攻击者可以在不被检测到的前提下,有预谋的将虚假数据注入某些量测量中,从而破坏状态估计的进程。相应地,根据损坏的数据可能产生错误或不安全的调度指令或控制信号,这可能对电力系统的安全可靠运行产生严重威胁。基于此,本文基于虚假数据攻击机理与机器学习领
微电网作为协调不同可再生能源的优良载体,伴随新能源的广泛运用而备受关注。孤岛模式运行下微电网各逆变器需协同控制,稳态时系统电压和频率保持同步并实现功率均分。而实际系统无理想电压支撑,逆变器输出易受负荷变化与非线性扰动影响。当前逆变器常采用基于双环控制结构的下垂控制策略,其控制系统惯性低,动态响应慢且输出调节幅度大。同时现有PID电压控制器鲁棒性弱,非线性扰动下稳态输出畸变率较高。因此设计有效输出电
三明治结构是一种具有优良比强度和比刚度的轻量化结构,对于提升设备的动力性和运行速度具有重要的意义,在航空航天和交通运输领域中得到广泛应用。然而在实际的工程结构设计过程中,三明治结构的连接接头成为一个存在较多设计问题的部位,相关学者对此进行了广泛的探讨。目前根据三明治结构组分材料的不同,接头的连接方式可以分为激光焊接、机械连接和胶粘连接。其中,胶粘连接由于具有对材料没有选择性并且易于实现的特点,越来
根据汽车自动化和智能化的发展进程,美国汽车工程师协会(SAE)将智能汽车的发展分为手动驾驶、辅助驾驶、半自动驾驶、有条件自动驾驶、高度自动驾驶和完全自动驾驶六个阶段。虽然不同级别和功能的智能汽车正发展迅猛,但是要在短期内实现真正的无人驾驶却很困难。因此,未来的智能汽车将不可避免地面临人机共驾的局面。人机共驾亟待解决的难题是不确定性因素:驾驶人的不确定,车辆的不确定,驾驶权是否有条件切换不确定等。针
随着智能驾驶技术的不断发展和国家政策法规的推进,自动驾驶车辆作为未来智能交通系统的重要组成部分,目前已经进入了场地测试和初步商业化的阶段。在自动驾驶车辆与人类驾驶车辆共同行驶的混合驾驶场景里,为了满足无人驾驶车辆上乘员的安全、高效、舒适性要求,除了驾驶路径规划与障碍规避外,还需要对自动驾驶车辆与他车的交互行为决策进行研究。针对直道上的换道汇入交互行为,本文以驾驶行为数据为基础,利用考虑交互车辆驾驶
细胞作为构成生物体的基本结构和功能单元,其生物环境中的许多特异性生物标志物与疾病的发生、分化和发展息息相关,对细胞生理功能的调节至关重要。探究细胞中特异性癌症生物分子表达水平的变化对于生物医学上开展癌症的预后和诊断的研究具有重大的指导意义。细胞组成的多样性使生物环境十分复杂,通常一种疾病与一种及以上生物标志物有关或与其他疾病共享一种生物标志物。因此利用细胞内单一生物标志物的检测手段进行疾病诊断易出
高熵合金因具有高强度/硬度、良好的抗氧化/蠕变/腐蚀/磨损能力和耐高温软化能力,已得到了国内外研究人员的广泛关注,成为新材料重点研究方向之一。近年来,基于高熵合金的合金设计概念正经历从等原子合金到非等原子合金的概念拓宽,为了给设计富铜非等原子高熵合金提供实验依据,本研究系统地研究了一种富Cu非等原子比CoCrFeNiCu4高熵合金,初步提供了对该合金在各种热循环和热机械加工过程中组织、力学行为变化
新能源汽车的安全性、续航性能、使用寿命等特性由动力电池直接决定,电池性能的优劣成为制约新能源汽车产业蓬勃发展的焦点问题。电池对温度极其敏感,温度变化会对电池的内阻、容量、充放电循环次数等特性产生一些不可逆的影响,严重时还会出现安全隐患。因此,有必要采用热管理系统来维持电池温度范围,研究电池热管理系统具有重要意义。本文基于三元锂离子电池模组,提出了液冷散热方案,对位于模组底部的并行流道液冷板进行结构