自动驾驶环境中图像识别与虚拟场景重建技术研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:tt77uu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,交通事故频发,为了保障出行安全,随着深度学习和计算机技术的发展,自动驾驶技术成为道路交通安全领域的研究热点之一。自动驾驶环境感知以及驾驶场景三维重建仿真对保障自动驾驶安全十分重要,本文围绕这两个任务,展开以下研究:首先构建了二维目标检测及(道路)语义分割融合模型(后简称融合模型)。融合模型包含3个子模块:特征提取模块(残差网络)、二维目标检测模块和(道路)语义分割模块。针对融合模型提出了“1-”交替训练策略,以便二维目标检测和语义分割两个子任务之间可以相互借鉴特征,从而提高模型鲁棒性。实验结果表明,交替训练策略相当于借助标注成本较低的二维目标检测数据作为辅助数据源来学习数据分布,减少了对标注成本高昂的语义分割数据的需求,达到了数据增强的效果。融合模型收敛速度快,提高了目标检测结果的置信度,提高了(道路)语义分割准确率,并在KITTI自动驾驶数据集上进行了验证。然后基于深度学习方法实现了三维目标检测模型。三维目标检测模型将激光点云数据预处理为鸟瞰图,将其输入卷积神经网络得到特征图,然后基于YOLO模型改进输出层,在预测目标对象类别及在鸟瞰图中位置的同时预测目标对象姿态,目标对象姿态指的是目标对象的朝向和相机坐标系(3轴的夹角。之后将检测结果映射到三维空间,从而完成三维目标检测。与其它模型相比,本模型在保证检测精度的同时,提高了检测速度。最后实现了基于数据驱动的驾驶场景三维重建仿真平台。首先通过目标检测模型得到驾驶场景中目标对象的位置、姿态等信息,然后从三维模型库中读取相应3D模型展示在三维虚拟场景中,并根据道路语义分割结果渲染道路区域,从而实现驾驶场景的三维重建。该方案可以快速复现真实驾驶场景,可用于自动驾驶虚拟仿真,对降低路测成本和保障驾驶安全意义重大。
其他文献
图像拼接技术的发展已经日趋成熟了,并且也广泛应用到了智能手机拍摄、虚拟现实、航天航空和视频监控等诸多领域当中,其目的都是为了获取到宽视野、高分辨率和观感相对自然的图像。然而目前的图像拼接技术在应用到不同场景时,图像的特征数目相对较少、特征种类单一,且特征分布存在局限性,同时图像对重叠区域中深度不一致。这些问题导致目前的图像拼接算法对于各类场景下的图像配准效果较差,在重叠区域易出现伪影现象。本文提出
磁共振成像(Magnetic Resonance Image,MRI)是一种应用广泛的检查人体内部脏器的现代成像技术。磁共振成像已经被广泛用于临床常规检查诊断,尤其是脑疾病的检测和诊断。脑组织的体积变化往往预示着各种疾病,如脑肿瘤,白质脑病,橄榄脑桥小脑萎缩(Olive pontine cerebellar atrophy,OPCA)等。因此,对脑MRI图像进行精准的自动分割对于临床应用和科学研究
将触觉传感器获取的机器人、可穿戴设备、医疗器械等和外界交互产生的压力、温度等触觉信息以图像的形式表现出来可以形成触觉图像。而目前触觉传感阵列是获得这些触觉信息的主要途径。不同于视觉传感单元(如CCD/CMOS),触觉传感阵列的传感单元具有工作原理多样、尺寸大、读取电路复杂而难于集成等特点。为了提高触觉图像的分辨率,本文进行了基于传感阵列的触觉图像超分辨率算法研究。首先,研究了触觉图像特点;其次,分
城镇化发展过程中,违法用地、违章建筑等问题严重影响社会和谐与可持续发展,土地违法的“早发现、早查处”至关重要。针对以往人工巡查效率低、摄像头监控智能化程度低的现实问题,本文致力于研究违章建筑物自动识别中的监控点图像快速获取、违章建筑变化检测、车辆虚警过滤等关键技术。主要研究内容如下:(1)提出了一种基于金字塔L-K光流法的定点监控虚拟预置位设置方法。针对相机所带预置位不足的问题,首先对视频前后两帧
社会人口老龄化、全民运动化时代的到来,使得中老年骨质疏松性骨折创伤、感染、肿瘤、骨髓炎手术清创、以及中青年各种意外伤害和先天性疾病导致的骨缺损成为临床常见疾病,严重影响了国民身心健康。然而,自体损伤愈合范围有限,传统的针对骨缺损自体、异体骨移植的治疗手段,易产生致命的并发症,因此亟需研发设计成分、构型匹配特定骨缺损的功能型三维骨修复支架,为骨缺损部位提供桥接作用、引导骨的愈合修复。聚己内酯(PCL
在各类室内定位技术中,视觉SLAM具有自主性强、成本低、感知信息丰富等优势。目前,基于单类特征的视觉定位已有众多研究,但在室内弱纹理环境下,受限于对单类特征的高度依赖性,不同类特征间的互补信息未能有效利用、特征融合后的适应性与抗干扰能力不足。因此,融合特征间信息实现弱纹理环境下的高精度可靠定位,是室内视觉定位中亟待解决的问题。针对上述问题,本文提出了一种融合点面特征的视觉定位方法,该方法有效利用室
互联网应用的不断发展和完善正在推动企业项目从传统的单体架构向微服务架构转型,将集中式的系统按照业务特点垂直拆分成多个规模相对较小的独立服务,可有效降低系统的运维成本,提高版本迭代的开发效率,每个服务单独部署的方式也带来了灵活的集群规模调整方式,使得系统弹性扩容变的更加轻量级。伴随系统垂直拆分而来的还有各服务之间的网络通信需求,消息中间件就是一种为不同系统或同一系统内不同模块提供可靠的异步网络通信的
随着互联网技术不断发展,网络数据资源日益丰富,在给人们生活带来种种便利的同时也衍生了亟待解决的信息安全问题。身份认证是保护网络中用户数据资源的第一道关卡,现有身份管理系统存在着一些不足:(1)身份管理机制标准不统一,组织之间缺少强信任关系,不同应用服务之间不易融合;(2)身份管理依赖于第三方权威中心机构,身份信息易被泄漏、滥用;(3)用户数据访问控制机制不完善,用户对自身数据缺乏自主权,用户数据易
焊接是一项重要的加工技术,被广泛应用于各类生产制造领域。传统生产企业依赖手工焊接,焊接质量取决于工人的技术水平与工作状态,因此焊接效率与质量无法得到保障。相比于手工焊接,自动化焊接具有焊接效率高、焊接质量一致等特点。普及自动化焊接能够提高企业生产效率,保障产品质量并节省用工成本。焊缝跟踪技术是实现焊接控制的重要环节,也是焊接自动化与智能化的必要条件。本文通过对焊缝跟踪技术展开研究,设计并实现了一套
随着互联网技术的快速发展和大数据时代的全面到来,企业级应用中越来越多的应用场景需要在预定的时间点按照指定的时间规则去执行特定的任务,这样的任务就是“定时任务”。业务规模的发展和逻辑复杂度的上升使得定时任务在企业级应用中扮演着越来越重要的角色,但是现有的定时任务调度方案存在着可管理性差、并行处理能力差、任务编排能力差和可用性差等问题。针对以上问题,本文设计并实现了一个基于松耦合架构的分布式定时任务调