论文部分内容阅读
在自动驾驶领域,目标检测发挥着至关重要的作用。然而,在现有的技术下,依靠单一的传感器无法在复杂的环境下获得精确的检测结果,因此,对基于多传感器融合的复杂环境感知技术进行研究显得尤为重要。本文基于深度学习理论,从摄像头、毫米波雷达、激光雷达等传感器数据出发,开展了基于多传感器的自动驾驶目标检测的研究。本文具体内容如下:研究了一种基于图像预处理网络的二维目标检测方法。针对自动驾驶中摄像头位置多变的问题,引入了迁移学习的思想,研究了一种基于对抗训练的图像预处理网络,基于不同视角的摄像头数据对特征提取网络进行预训练。构建了多视角的目标检测数据库,提升了基于深度学习目标检测网络的模型泛化能力。研究了一种基于最优属性的摄像头和毫米波雷达目标级融合算法。针对单传感器目标识别不全的问题,本文基于匈牙利算法和卡尔曼滤波算法,引入最优属性准则,实现了对计算机视觉目标和毫米波雷达目标的融合。这种方法结合了摄像头的检测分类能力和毫米波雷达的抗干扰能力,构建了多传感器的目标检测数据库,提高了摄像头对远距离目标的检测精度,同时提高了在复杂环境的三维车辆检测任务中视觉和雷达融合的效率,并给目标的加速度提供了一个可靠的预测。研究了一种基于深度学习的摄像头和激光雷达的特征融合算法。通过共享图像和融合的特征提取网络,解决了图像目标检测和融合目标检测特征反复提取的问题,并针对图像数据和激光雷达数据格式差异大的问题,分别提出深度学习特征提取网络,通过特征层的深度融合,在三维空间上生成目标候选区域。在KITTI数据集上的实验结果表明,本文研究的多传感器特征融合方法提升了单传感器的检测精度及传统特征融合方法的检测速度。最后,开展了多传感器在数据级别的融合算法研究。研究了摄像头和激光雷达的数据融合方法,以及对融合后点云数据的特征提取方法。针对三维目标检测中点云稀疏的问题,研究了一种多分辨率的多空间维度的建议框生成网络。针对点云数据无序化的问题,研究了一种栅格化处理方法,并通过三维卷积神经网络,完成了端到端的融合检测算法。对多传感器进行数据上的融合能够更加有效的发挥神经网络的学习能力,提升了三维目标检测的召回率。