场景三维重建是机器视觉的核心任务之一,也是机器人研究领域中的一个重要研究方向。随着各种机器人在数字城市、智慧城市中执行实时监控、探测、救援甚至作为替身等任务的需要,利用其视觉系统采集的图像进行城市场景重建成为近年来广大学者研究的热点。然而,开放式的城市大场景结构复杂、相互遮挡严重,采集的图像中常存在阴影、高光反射等光照不稳定因素,再加之常见的建筑物场景的平面区域纹理稀疏、重复,尤其是窗户区域弱纹理等现象的存在,使得准确而逼真地重建此类场景依然面临着许多问题和挑战。本文针对大场景重建的不利因素,围绕基于彩色图像的特征检测、平面区域的不连续视差优化、平面区域重建的点云稀疏、孔洞和平面颠簸问题,以及建筑物窗户区域的重建不完整问题进行了研究和探讨,为提高三维重建的质量和完整性提供一些有效的解决方案。具体研究内容和创新点如下：(1)基于灰度图像的特征检测因丢失颜色信息而在阴影、影子和高光等区域出现特征检测不稳定的问题。本文在颜色的双色性反射模型下构造了一种颜色的饱和度不变量,并将其与已有的色调不变量结合,运用到边缘检测与角点检测中。两种不变量的结合不但增强了检测子对阴影、高光区域的抗干扰能力,同时互相弥补,检测出目标的真实边缘和稳定的角点特征。(2)在立体匹配的局部算法中,由于局部窗口的平滑假设在倾斜平面或目标边缘处不成立,造成平面视差不连续,进而导致三维重建的模型呈现阶梯状。本文根据图像平滑的原理,提出一种图像边缘与视差稀疏梯度约束的全局视差优化算法,并利用准二次变量分离算法求解目标函数,获得优化的视差图。通过对公共测试图像的实验表明,提出的算法有效地在子像素级的视差精度内平滑了不连续视差,解决了平面区域重建的阶梯状问题。(3)将三维稀疏点云的多平面模型估计和无监督的二维图像分割相结合,在不借助深度图的条件下,提取完整的平面区域,分段重建三维多平面场景。本文首先利用分层抽样代替随机抽样,改进了J-linkage多模型估计算法,然后利用该方法对稀疏点云进行多平面拟合,获得了场景的多平面模型,最后利用多平面模型构造相关近邻图,形成分割标记,将平面区域提取并重建。提出的方法克服了平面区域重建时纹理稀疏或重复纹理造成的孔洞问题,以及微面片拟合平面重建的颠簸现象。(4)通过建立一种具有仿射不变性的直线描述子对图像中的直线特征进行了精确匹配。首先将待匹配直线离散为对应点的集合,将直线描述转化为点的描述,避免了直线不完整造成的支撑区域大小不一致的问题；然后结合直线的方向和长度,定义点描述子的主方向和尺度,通过统计离散点集的局部邻域的梯度信息,使描述子具有仿射不变性。为了提高直线匹配速度,在进行直线描述之前,本文采用了极线约束精简了待匹配直线集合,再利用最近邻距离比准则对直线精确匹配。实验结果表明本文提出的直线描述子在仿射、亮度、视点、遮挡等变化条件下具有精确的匹配性能。另外,直线匹配被应用于场景的三维直线重建,给后续的建筑物窗户重建提供了基础。(5)提出了一种基于图像边缘与玻璃属性约束的窗户检测方法。首先,将图像边缘作为窗户的初始定位,然后分别在边缘的两侧提取局部的颜色和纹理特征,并将二者的差异性作为识别窗户的特征,最后,先采用Mahalanobis距离分类器进行局部含窗区域判决,再利用图像分割的算法提取窗户的整体区域。提出的算法能在窗户形状结构未知的情况下,对建筑物表面的窗户有效检测。在重建应用中,将从图像中检测的窗户作为二维定位,将三维直线模型作为空间定位,对窗户实现了重建,克服了一般方法在窗户这种高光区域不能完整重建的困难。