随着硬件设备性能的提升与人工智能技术的飞速发展,越来越多的领域开始使用激光雷达采集到的点云进行三维空间的场景理解,如自动驾驶、增强现实等。相机采集到的RGB图像具有丰富的纹理信息,而雷达点云不易受到外界因素的影响,具有较强的抗干扰能力。本文以雷达点云和图像为基础,对三维空间中的目标进行检测,主要工作内容概括如下:(1)提出了一种基于2D语义分割的3D目标检测算法(Semantic-based Frustum Pointnet,SFP)。算法充分利用RGB图像的纹理信息对图像进行语义分割并投影至点云空间,目的是去除点云空间中的嘈杂点云对3D目标检测任务的影响。引入Deeplabv3+网络对自动驾驶场景下的感兴趣区域和非感兴趣进行分割,得到分割结果后投影至点云空间形成视锥,最后在视锥的范围内进行3D实例分割和3D框估计。实验结果证明,所提算法能够很好地将检测目标点云与非感兴趣点云分割开,有效地减小了场景中嘈杂点云对3D目标检测任务的影响,对KITTI数据集中简单、中等、困难三个等级的目标检测m AP分别提升4.44%、2.54%、2.26%。(2)提出了一种融合稀疏点云补全的3D目标检测算法。算法采用编码、解码机制,针对实际三维场景中采集点云的稀疏、不完整等特性,通过点云补全网络使得输入的部分稀疏点云变密集。该算法在解码网络采用全连接解码与折叠解码级联的解码方式,根据级联解码方式的特性,定义了一个新的复合损失函数,复合损失函数中除了原有的折叠解码阶段的损失之外,还增加了全连接解码阶段存在的损失,以保证解码网络的总体误差最小,从而使得点云补全网络生成信息更完整的密集点云,并将补全的点云应用到3D目标检测任务中。实验结果表明,所提算法能够很好地将KITTI数据集中稀疏的汽车点云补全,并且使得3D目标检测的平均精度有了显著的提高,特别是针对中等和困难等级的数据效果更佳,提升幅度分别达到6.81%和9.29%。