随着人工智能的发展,商业应用对传感器的要求也不断提高。在视觉传感器方面,表现为两点,一是视觉定位,以视觉里程计、视觉SLAM等为代表的定位技术在无人机、自动驾驶、机器人、工业自动化等领域方兴未艾,受到工商业界的重视;二是三维信息获取,以立体视觉为代表的稠密重建方法在机器人场景理解、人脸重建、3D打印、智慧城市等领域属于核心算法。这两个算法组合起来就是由运动恢复结构,是三维重建的一个重要分支,近几年受到学术界和工业界的高度重视。本文对目前的位姿估计算法和多视图立体视觉进行了深入研究,以计算机视觉中的多视图几何原理为依据,对现有由运动恢复结构算法进行改进。首先,依据现有双目标定算法,实现了基于最小生成树的多相机标定算法。为了降低对特征点数量的依赖,解决位姿估计中点特征不足的问题,提出了基于仿射匹配的双目视觉位姿估计算法,在此位姿估计算法的基础上实现了基于仿射匹配的视觉里程计算法。为了有效利用多视图的有效信息,解决双目立体匹配存在的歧义问题,提出了基于置信度图的多视图立体匹配算法。最后,实现了多相机标定程序和基于仿射匹配的由运动恢复结构程序。针对多相机系统,该系统和方法基于最小生成树进行初始位姿估计,并实现光束平差法对所有相机参数进行优化。基于仿射匹配的由运动恢复结构算法,有效利用了邻域信息,提高了定位精度,并避免了传统位姿估计方法在特征不足区域中存在的轨迹漂移问题。本文的研究内容主要分为多相机标定、基于仿射匹配的视觉里程计、多视图立体匹配、深度图融合。(1)基于最小生成树与光束平差法的多相机标定。本文利用双目标定估计任意两个相机之间的位姿关系,构建位姿图,并使用最小生成树算法得到极小连通子图,即每个相机仅有唯一位姿。采用光束平差法对三维空间下多个相机的参数进行非线性优化,从而既快速又精确地得到相机的固有参数,为后续视觉里程计和多视图立体匹配算法奠定了基础。(2)基于仿射匹配和特征筛选的视觉里程计算法。本文在点匹配的基础上,结合两点邻域的仿射变换,创新性地提出了基于仿射匹配的位姿估计方法,并从光度学和几何学两个方面构建了鲁棒估计RANSAC框架。经过实验验证,该位姿估计算法的抗噪和抗外点能力均优于现有位姿估计算法,并且当特征点数量减少时,仍能取得较好结果。在构建视觉里程计算法时,本文提出了基于非极大抑制的循环特征匹配方法,在特征提取时使用非极大抑制方法进行特征筛选,在特征匹配时在多帧之间进行链式特征匹配提高匹配精度,解决了潜在冗余特征点和歧义匹配导致的位姿误差,最后使用了光束平差法对位姿进行优化,提高了短时间内的位姿估计精度。(3)基于置信度图和投影一致性的多视图立体匹配。由于双目立体匹配,存在匹配歧义,经过一致性检验后会存在大量孔洞。本文利用了双目SGM算法,计算了视差图的置信度图。在视觉里程计或者多相机标定的基础上,能够确定相邻帧图像对应相机的位置变化。利用这一信息,有效利用重投影方法计算出多个时刻图像之间的匹配代价,最后根据深度估计的置信度将多视图的匹配代价融合,计算出最终的视差图。针对多视图深度图融合存在大量冗余空间点和噪点的问题,本文提出了基于投影一致性的点云滤波算法,有效消减了融合点云中的无效数据。