全景相机由于具有360°全视角成像的特点,是计算机视觉与摄影测量领域中主要的视觉传感器之一,常用于移动测量车,自动驾驶汽车和火星探测机器人等。随着影像三维重建技术日趋完善,尤其运动恢复结构(Structure From Motion,SFM)算法能够准确、稳定和快速地从影像恢复目标场景的三维结构。全景影像三维重建效率高且连续性好,适用于大规模场景的重建。目前全景相机影像位姿的采集主要是通过外置采集平台GPS/IMU获取,或通过基于球形全景相机模型的运动恢复结构算法得到,后者虽然不受GPS信号影响且重建效果更好,但是考虑到多镜头组合式全景相机其特殊的成像方式,球形全景在定向中存在着较难控制的拼接误差、融合误差等,量测精度降低,较难满足精确三维场景重建的要求。本文主要针对多镜头组合式全景相机的三维重建策略进行较深入研究,并提出一种SFM算法实现更高效和准确的位姿估计和模型重构。为了避免全景影像拼接中存在的配准和融合误差等,本文采用严格的非球形成像模型,直接通过所有单镜头的像方与物方关系来构建拓展共线方程,更准确地表达真实严密的场景空间信息。基于此成像模型,直接输入未拼接的全景影像,然后按照先单镜头后多镜头顺序改进SFM算法。首先,在单镜头成像情况下,针对如何更高效地完成位姿解算,本文提出了一种改进的增量式SFM算法,通过真实数据实验证明改进算法具有一定的高效性和稳定性。然后,本文基于单镜头SFM算法结果进行多镜头分析,通过镜头之间刚体不变的相对位姿,提出一种相机标定方法恢复各单镜头相机运动和场景结构之间的几何关联,接着再通过后方交会实现更多单镜头SFM算法丢失的影像位姿估计,实验结果表明,该多镜头相机的位姿估计方法能成功实现所有影像定向,并且恢复较好的三维结构。最后,关于SFM算法的优化方法,本文通过多镜头组合式全景相机的拓展严格成像模型,对光束法平差(Bundle Adjustment,BA)进行改进,减少部分未知参数,重新推导重投影误差方程进行最小二乘优化。实验结果表明,对比传统的光束法平差,本文优化方法在迭代计算时能更快收敛,且结果正确。另外,为了对影像重建优化结果进行真实物方精度分析,本文在BA模型中引入控制点约束,通过检查点的点位偏差表明,优化后结果可达厘米级。