汽车全景视觉辅助系统可以通过安装在汽车前后左右的四路鱼眼摄像头获取汽车周围的图像,从而为驾驶者提供更多视觉信息。目前,常用的全景视觉系统是将四幅鱼眼图像经过畸变矫正、俯视变换、图像拼接后形成俯瞰的全景二维图像,虽然大大减少了视野盲区,但仍存在拼接形变、视角单一、灵活性差等局限。因此,三维全景视觉辅助系统的研究得到了广泛关注。本文重点解决三维全景图像拼接、融合、图像增强、三维模型建立、纹理映射等关键技术,建立汽车三维全景视觉辅助系统,从而有效减少刮蹭、碰撞、陷落等事故的发生,提高行车的安全性和操作的灵活性。首先,在分析二维全景环视系统原理的基础上,提出了汽车三维全景视觉辅助系统的实现方法和流程,给出了需要解决的关键技术。在此基础上,建立了由鱼眼摄像头、图像采集卡、安装支架等构成的三维全景视觉系统实验平台。针对三维全景视觉对摄像头标定精度要求更高问题,深入研究了鱼眼摄像头成像模型,利用配置OpenCV函数库的Visual Studio 2012实现了鱼眼摄像头的标定和鱼眼图像的矫正,鱼眼摄像头标定的平均误差最少可达0.04像素。然后,对汽车三维全景系统图像拼接算法展开研究。通过俯视变换、图像配准、基于偏差转移拆分的全景图像拼接算法和图像的加权平均融合,实现了环视全景图像低错位失真的无缝拼接。针对全景图像成像过程中出现光线过暗和光照不均等问题,提出一种多尺度同态滤波算法。对滤波后的图像采用了三个尺度的超高速指数模糊算子,从而获得不同层次的细节信息,再将合并的细节信息融合到滤波后的图像中,可以增加滤波后图像的对比度,提高最终输出图像的清晰度。实验结果表明,多尺度同态滤波算法与传统的同态滤波算法相比,平均梯度(清晰度)提高到原来的1.72倍,对比度提高到原来的3.3倍,熵值提高了 0.25比特/像素。为了实现三维全景视觉,接下来开展全景三维模型建立和纹理映射算法的研究。为了得到较好的视觉效果,本文提出一种由底面平面、弧形连接面和锥形侧面组成的低畸变均匀视场车载全景三维模型。通过与球面车载全景三维模型和柱面车载全景三维模型对比可以看出,所提出的三维模型既可以克服球面不可展性产生的纹理畸变,又可以避免柱面车载全景三维模型三个组成部分无法平滑连接以及俯视时会出现边缘汇聚的现象。然后,针对所建立的车载全景三维模型,提出了一种基于纹理步长的纹理映射算法,并进行了仿真和实验,结果表明,该算法满足纹理不变性的三个准则,得到了更具真实感的三维全景图像。最后,针对三维全景图像中的目标检测技术开展研究。以Darknet网络为基础,运用YOLOv3卷积神经网络算法构建并训练目标检测模型,并分别将其应用到球面、柱面和低畸变均匀视场的车载三维全景系统中,对目标检测模型的性能进行评估。实验结果表明,在相同的条件下,低畸变均匀视场的车载三维全景系统每个目标的边界框类相关置信度都达到了 95%以上,目标检测平均时间比球面车载三维全景系统快2.22ms,比柱面车载三维全景系统快2.44ms。