全景图像是近年来计算机视觉、虚拟现实等领域中的研究热点之一,在遥感图像处理、医学成像、行车驾驶安全等领域都有很高的应用价值。特别是在行车驾驶安全方面,基于鱼眼相机的车载全景环视系统受到越来越多研究人员的关注。为了给行车驾驶人员提供车身周边360°的路况信息,提高驾驶安全系数,需要研究基于鱼眼相机的车载全景图像拼接技术,主要包括鱼眼图像的预处理(角点检测、鱼眼相机标定与鱼眼图像畸变校正)、车载全景图像的拼接(配准与融合)。本文的主要研究工作如下:首先,研究了一种亚像素级别的改进Harris角点检测方法。先对棋盘格标定板图像进行Harris角点检测,得到初始角点;在进行响应函数计算之前,利用图像区域像素灰度值的相似度来对初始角点进行筛选,降低计算量;再将筛选后Harris角点的响应函数进行二项式逼近分析,获得亚像素角点位置。实验结果表明,本文方法能精确地检测出棋盘格标定板的角点,与基于灰度差分与模板的Harris角点检测方法、基于像素搜索的FAST角点检测方法以及改进SUSAN角点检测方法相比,本文方法误检率低、耗时短,检测效率更高。然后,采取了“张正友式”标定法对鱼眼相机进行标定。对大量棋盘格标定板图像进行内参矩阵和畸变系数的求解,并给出了参数的具体数值,为下一步鱼眼图像校正做了充分的准备。本文所用的“张正友式”标定法步骤简单、易于实现且精度较高,适合实际工程应用。其次,运用基于球面透视投影等距模型的方法来对鱼眼图像进行畸变校正。先将入射角和相机焦距之间的关系带入到球面模型中求解坐标映射关系;再建立原始图像与结果图像之间的关系来进行透视投影。实验结果表明,本文方法是一种行之有效的鱼眼图像畸变校正方法,与基于2D空间的经纬校正法、基于3D空间的柱面透视投影法相比,本文方法在校正之后的误差更小,性能更优。再次,提出了一种基于改进Harris特征点检测和Franklin矩特征描述的车载全景图像配准方法。先用改进Harris角点检测方法进行图像特征点检测,用Franklin矩作为图像特征的旋转不变描述子,通过比较各个特征点邻域内Franklin矩的欧氏距离获得初始点对;再采用随机抽样一致(Random Sample Consensus,RANSAC)方法对初始点对进行提纯,完成图像的精确配准。以配准正确率作为评价指标,与基于尺度不变特征变换(Scale Invariant Feature Transformation,SIFT)、基于加速鲁棒性特征(Speed Up Robust Features,SURF)以及基于Zernike矩的3种图像配准方法在抗噪声、抗亮度变化、抗尺度变化和抗旋转等方面进行了比较,实验结果表明,本文方法的配准正确率和精度更高、效果更佳、所耗时间短,适用于工程实践。最后,给出了一种投影梯度非负矩阵分解(Non-negative Matrix Factorization,NMF)和引导滤波结合的Contourlet变换车载全景图像融合方法。先对拼接完成的车载全景图像4个重叠区域进行Contourlet变换,得到不同的频带信息,对低通子带采用基于投影梯度NMF的方法进行融合,对带通子带采用区域绝对值最大规则进行融合,并用引导滤波进行细节增强;再进行Contourlet逆变换,叠加到拼接图像中去,得到最终的车载全景拼接结果图。对大量车载全景图像进行融合实验,并与基于非下采样剪切波变换的方法、基于小波变换的方法以及基于阈值改进的Contourlet变换的方法3种融合方法进行了比较,实验结果表明,本文方法的融合结果清晰,没有明显的拼接缝隙,综合性能更优。