目前,单一传感器在感知任务中存在局限性,为了提高感知任务的准确性,许多工作采用了多传感器融合方法。在三维场景感知技术迅速发展的背景下,多模态融合在三维目标检测中已广泛应用。然而,当前的多传感器融合方法存在以下问题:对于多传感器信息的利用效率较低,难以有效解决复杂场景下成像分辨率低以及部分物体被遮挡的检测问题。此外,多模态融合需要考虑多个传感器的数据,算法鲁棒性差,容易受到传感器故障、数据缺失等因素影响。因此,当前的多传感器融合方法仍需要进一步改进,以提高感知任务的准确性和鲁棒性。在深度学习技术中,注意力机制通过实现对不同特征的自适应选择和加权提升深度网络表征、分析和理解数据的能力。针对多模态融合中存在的问题,本文主要研究在点云和图像信息融合的目标检测任务中,注意力机制对检测结果的影响,并验证了本文算法的有效性。具体的工作内容如下:1)基于注意力机制的单模态检测算法研究。该部分,研究单模态数据实现目标检测任务。实验采用编码-解码结构,在编码器和解码器之间插入局部-全局注意力机制模块,以获取更丰富的全局上下文信息。局部-全局注意力机制模块由局部模块、全局注意力机制模块及跳跃连接结构组成。实验结果表明,本文提出的检测算法在图像和点云单模态下都能有效地提升检测效果。2)基于注意力机制的多模态检测算法研究。该部分,研究采用包含多种传感器数据的Nu Scense数据集。在基于第一部分的研究基础上,实验首先采用初始化目标查询机制,将提取的图像特征作为引导信息得到Query;接着在编码-解码结构中添加交叉注意力机制融合图像特征和点云特征;最后通过两个解码器层分别预测候选框和输出目标检测结果。其中,交叉注意力机制模块分别将点云特征和图像特征的Query交叉计算得到融合特征。检测头中的每个解码器层之后添加前馈神经网络和监督,利用预测候选框限制交叉注意力。交叉注意力机制可以对不同传感器特征图之间进行建模,能够充分利用特征图中的语义信息。实验结果表明,相同场景下,多模态比单模态的目标检测指标m AP提升了4.1%;不同场景下,本文的多模态融合方法的网络检测性能更加稳定。