近年来,随着环境感知手段逐渐拓展到三维空间,自动驾驶技术得以快速发展。激光雷达是自动驾驶最重要的传感器之一,它可以获取目标的距离信息,生成高精度点云,然而单帧点云存在两个主要缺陷:（1）信息单一,缺少纹理特征。光学相机可以获取具有密集颜色信息的视觉图像,通过校准技术可以在像素级融合点云-视觉信息,突破数据的局限性;（2）部分目标残缺、远景点云稀疏,通过点云配准技术可以融合多帧点云,实现点云的完整化和密集化。本文在自动驾驶场景下,以激光雷达和光学相机作为环境感知工具,研究点云-图像校准和点云配准融合方法,通过这两项工作获取的高质量RGB-D数据,对于目标检测识别等任务具有重要意义。具体研究内容如下:针对三维点云和视觉图像差异过大的问题,本文提出同质化特征的概念,设计了两种同质化特征:SLBP和SVN,首先将原始输入转换为深度图,然后基于均匀角度搜索邻域点计算特征值。经过实验证明,SLBP和SVN特征图对原始数据的同质化作用明显,且分别具备抗旋转性和抗干扰性。针对传统校准算法无法在自动驾驶过程中进行实时自动校准的问题,本文提出一种离线训练的卷积神经网络模型,用于估计点云投影深度图和视觉图像的外部参数,实现两者的后校准。在模型输入上,使用SLBP特征和SVN特征作为辅助;在网络结构上,在匹配层引入多级融合机制,实验证明本模型可以明显提高校准精度,且可以进行实时运算。针对传统点云配准算法在处理自动驾驶场景点云时运行速度慢、配准效果差的问题,本文提出基于视觉关键点空间结构相似性的点云配准融合算法。首先使用SIFT+KNN算法获取视觉图像的二维关键点对,然后估计二维关键点的深度信息并反投影到三维空间,之后通过空间结构相似性算法得到置信度最高的几组三维关键点对来计算刚性变换参数。实验证明,本文方法在运行速度和配准效果上均取得较大幅度的提升。