随着自动驾驶技术的发展,人们对感知模块可靠性的需求愈加强烈。为保障决策与控制过程的安全,无人车对道路周围物体的轨迹进行估计,获取位置、速度、类型、大小等信息。其中,针对行人、骑行者等容易误检和漏检的目标,现存搭配单传感器的方法存在检测不确定性大、感知范围有限等不足,较难应用于城市复杂道路场景。因此,本文以多传感器和多模型融合为出发点,将激光点云精确的空间信息和二维图像稠密的像素信息优势互补,获取更全面、鲁棒的行驶环境信息,从而提升三维目标检测的性能,满足自动驾驶系统对可靠性、精准度的需求。为了实现更高精度的感知,利用集成学习的思想,将每个检测模型产生的候选框根据权重进行融合,进一步提升三维目标检测的精度,满足适应各种行驶环境的要求。本文的主要研究内容如下:1、提出了一种点云图像融合的新范式,设计了多任务联合感知的深度卷积神经网络框架。主要创新点如下:（1）将多标签物体识别网络作为三维目标检测的辅助任务,预测的物体类别信息作为三维目标检测任务的一致性正则化约束条件,有效解决了误检和漏检现象,提升自动驾驶场景下多个类别的三维目标检测精度。（2）在特征提取阶段,提出基于多层门控注意力机制的模块,自适应地融合从高维到低维不同尺度下的空间和语义信息。（3）针对两阶段检测器,将RCNN模块提取的ROI池化区域特征与图像的全局深度语义信息进行融合,整合深层的语义信息,实现更精确的回归预测。为验证方法的有效性,本文在KITTI公开数据集上进行了充分的实验比较和消融。在不依赖额外视觉图像标签的情况下,本文提出的融合算法能够显著提升三维目标检测的精度。2、融合改进的Center Point算法和Point Pillar算法,用于解决感知算法无法适应众多交通参与者存在下的复杂道路环境的问题。主要创新点如下:（1）对Center Point模型引入不同尺度的体素网格进行采样,同时在点云特征提取阶段加入子流形卷积降低模型复杂度,继而在检测网络的RPN层后添加注意力模块,实现对关键点云特征的捕捉。（2）对于Point Pillar模型,首先使用Reg Net作为骨干网络提取伪点云图像特征,然后采用Free Anchor检测头优化了物体和锚框的匹配,提升了复杂场景下多类别三维物体检测的精度。最后,通过WBF方法融合了改进的Center Point算法和Point Pillar算法,多项评价指标在nu Scenes数据上名列前茅,并在Neur IPS 2020自动驾驶挑战赛排名第一。