基于深度学习的大场景激光点云环境识别研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:osinfobyl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人们的交通出行发展从传统的燃油汽车转向新能源汽车,并向共享化和智能化发展,特别近年来以深度学习为主的人工智能技术的发展带动了自动驾驶汽车技术的发展和落地,深度学习算法在图像和自然语言处理等领域展现出强大的性能和泛化能力,为自动驾驶汽车的感知定位系统提供了强有力的解决方案。同时激光雷达器件的发展,感知距离越来越远,激光雷达线束也越来越多,分辨率也越来越高,赋予了自动驾驶汽车等智能移动机器人系统直接感知三维环境的能力,提高了感知定位系统的智能化,但同时也带了更多的技术挑战。自动驾驶汽车等智能移动机器人的感知定位系统不仅需要检测周围环境中的车辆、行人等物体信息,还需要准确的自身定位能力。同步定位与地图构建(Simultaneous Localization And Mapping,SLAM)是移动机器人实现自主导航定位的基础和关键技术之一,其中闭环检测和重定位是修正建图位姿和定位应用的关键环节,传统方法主要依靠GPS等进行辅助,但在树木和建筑遮挡的情况下深受影响。深度学习在三维点云研究的兴起,为单纯依靠激光点云的解决方案提供了可能,本课题研究基于深度学习的大场景激光点云环境识别问题,是解决激光SLAM闭环检测和重定位的有力方法。本论文主要研究内容如下:(1)研究深度学习对稀疏三维点云的邻域结构信息编码及特征提取方法,分析点云数据的特性和挑战,研究针对点云的深度学习网络设计的方法和思路,并分析利用深度学习解决大场景激光点云环境识别问题的方法和任务定义。(2)研究大场景激光点云的环境识别问题,提出了大场景描述网络LPD-Net(Large-scale Place Description Network),通过自适应邻域局部几何特征提取和动态图网络聚合,学习点云局部结构特征和环境上下文语义特征,并通过Net VLAD Layer生成全局描述向量,在Oxford Robot Car数据集上进行了训练和性能评估,性能达到了点云场景识别基准的最先进水平。(3)研究点云压缩重建与大场景点云的特征隐空间表征方法,提出了大场景点云压缩重建网络LPD-AE(Large-scale Place Description-Auto Encoder),利用由粗到细的层次化生成策略从特征隐空间恢复重建大场景点云,建立点云空间与特征隐空间的对等映射并构建点云的隐空间表征方法,利用隐空间向量代替计算复杂和消耗内存的大场景点云,实现闭环检测、重定位、地图压缩存储传输等任务。在Oxford Robot Car、KITTI和自采数据集SEU-FX上进行了训练和评估验证,定量和定性的结果显示了点云重建的性能。(4)设计真实自动驾驶应用的多传感器融合感知平台,集成了激光雷达、双目视觉、GPS/INS融合定位导航系统,并采集SEU-FX数据集,包括不同天气、时间、光照条件下的城市道路、校园场景同一路径的重复数据,可应用于长时间跨度的场景识别、重定位等相关任务研究。真实场景闭环检测、重定位等测试验证了点云隐空间表征在激光SLAM中的强大性能,展示了其在真实自动驾驶场景下应用部署的巨大潜力。
其他文献
图像描述顾名思义,即给定一张图片,算法自动生成一段描述图像内容的文本。该任务对人来说很容易,但对于机器却非常有挑战性。这需要同时用到计算机视觉技术和自然语言处理技术,来实现从图像内容理解到文本生成的转化过程。图像描述应用潜力巨大、在很多方面都很有应用价值,适用于人机交互、图片索引、智能监控、视频标注、视觉辅助等领域。近年来,Encoder-Decoder框架在基于神经网络的图像描述任务中吸引了越来
单目深度预测是计算机视觉中备受关注的研究课题,在自动驾驶、VR游戏制作、影视制作等领域具有广泛的应用价值。然而,目前该领域仍然存在较多为解决的问题,例如使用雷达激光采集深度数据的过程耗费巨大且受天气、光照等客观因素影响大;基于稀疏深度图恢复的深度信息的方法存在边缘深度不连续的问题。本文利用立体图像对进行训练,旨在提高场景深度预测网络的预测能力,对深度网络结构、双目立体匹配、视差图优化等方法进行了研
继美国、欧盟、日本之后,中国于2016年提出中国脑计划,神经性疾病的早期诊断是中国脑计划的一个重要研究方向。癫痫是由脑神经的异常放电引起的神经性疾病,其发作频率高且严重影响患者生活质量与生命安全。癫痫患者中有30%为耐药性癫痫,其治愈手段是采用外科手术来切除癫痫病灶,决定手术成功与否的关键是如何在术前评估阶段有效地识别癫痫病灶与正常功能区。在众多术前评估手段中,颅内脑电图(i EEG,intrac
可定制交互式视频是指在视频编辑和制作的过程中,可以根据不同的受众定制不同内容的交互式视频。目前,可定制交互式视频凭借其可交互、信息量大等优点拥有很大的市场需求(商品导购等)。然而,在可定制交互式视频的制作过程中,当前还面临两个主要问题:第一,对于视频目标检测,视频中经常出现如目标运动模糊、视频散焦、目标姿态奇异以及遮挡等帧图像恶化现象,传统视频目标检测算法难以在此类视频目标检测任务中达到较高的检测
基因作为遗传的基本单位,控制着生物的基本性状,对于个体识别和血缘鉴定都具有决定性的作用。通过基因预测人体的面部形态在刑侦以及法医领域一直是研究的热点,目前比较流行的DNA分子画像技术主要通过全基因组关联分析(Genome-wide Association Study,GWAS)结合单变量差异分析技术或者基于三维稠密数据点研究基因与面部形态之间的关联性,然后通过机器学习算法建立对应的预测模型,这些方
随着信息技术的发展,数字图像深入到我们生活中的方方面面。深度学习是近年来在人工智能领域引起关注的研究主题。作为深度学习的经典模型,卷积神经网络(CNN)在图像分类,对象检测和自然语言处理方面取得了一系列重要的突破。卷积神经网络模型具有计算复杂度高和参数量大的特点,正是这种复杂的多层网络结构为模型提供了强大的特征表示能力。智能设备的普及增加了将卷积神经网络移植到嵌入式设备的需求,但是其巨大的参数冗余
颅骨面貌复原领域中,面部特征点软组织厚度的获取是一个十分重要的步骤。目前颅骨面部特征点处的软组织厚度的获取主要是通过先进的医疗设备和专业的医护人员进行相应的配合得以实现,但是这种方法存在一个很大的缺陷即对于骸骨则无法进行面部厚度测量。近年来广泛的做法是采用平均值法,但由于未考虑骸骨之间的差异性,使得复原的面貌具有相似性。本论文采用深度学习方法,通过网络中隐含层构成的非线性映射,学习头骨和面貌之间的
数据采集是无线传感器网络领域的重要研究方向,传统基于固定汇聚节点和移动汇聚节点的采集方式均存在明显不足。随着无人机技术的不断成熟,基于无人机的数据采集可以有效弥补传统方式的不足,得到学术界广泛关注。由于无人机携能有限,大部分相关研究主要围绕提高网络吞吐率或延长网络生命周期对无人机能耗进行优化,取得一定进展,但仍面临如下挑战:一方面无人机能耗建模不精准,以距离相关能耗模型为主流,忽略了飞行速度与飞行
心脏功能分析在临床心脏病学中对患者管理、疾病诊断、风险评估和治疗决策起着重要作用。心脏磁共振(Cardiac Magnetic Resonance,CMR)图像主要用于心功能评估和心血管疾病诊断。CMR图像被认为是进行非侵入性心功能分析、估算临床参数的金标准。从医学图像中描绘重要的器官和结构常是估算临床参数、疾病诊断、预后预测和制定手术计划的主要步骤。在临床诊断中,放射科医生通过手动或半自动绘制包
随着无线网络技术(如5G)的快速发展和高服务质量(Qo S)需求的增加,对网络资源的有效管理变得越来越重要。为了提高业务调度的Qo S和网络资源利用率,许多学者进行了大量研究。实现这一目标的一种有效方法是对网络流量进行队列管理和调度。然而,队列管理调度的排队特性有一个隐含的缺点。由于需要通过检查网络链路上的剩余带宽来实时计算网络流的可行路由,在顺序处理队列中的流量时,计算可行路由可能很耗时。值得注