基于倾斜摄影测量的建筑物立面三维模型重建技术能够高精度地采集和恢复真实三维场景,其凭借低成本、高效率、高精度以及全自动化程度等优势,逐渐发展成为城市未来地图构建的主要技术手段,在“智慧城市”和“实景中国”等诸多领域有着重要的应用价值和研究意义。基于倾斜影像的立面三维模型重建是通过改变传统航空摄影测量中只能下视的采集方式,采用倾斜视角以获取建筑物立面结构信息用于建筑物建模,其中,宽基线和大旋转视角等引起的特征点匹配困难,倾斜影像的立面透视变形大和深度差异性明显等产生的特征点分布不均或者数量太少,遮挡等造成的细节结构缺失等系列关键问题在重建过程中亟待解决。建筑物立面主要由平面和线段等简单特征结构组成,同时,考虑到人们审美设计及其实用价值,建筑物立面结构往往具有一定的对称性、重复性、低秩性和规则性。本文针对现有模型重建算法的局限性和建筑物立面的结构特征,进行了大量的文献调研和深入研究,提出一套基于三维线段模型的城市建筑物立面目标结构修复的解决方案,主要用于解决城市场景重建过程中细节结构缺失或者扭曲形变等关键问题,其主要研究工作如下:1)考虑到建筑物立面目标多由线段结构组成,本文利用三维线段模型替代散乱点云模型,在保留线结构特征的同时,以降低时间代价。针对现有三维线段模型重建算法的局限性,本文提出一种基于点-线对应关系的线段匹配算法,并引入线段描述符,以优化线段匹配精度,降低线段误匹配率,同时,提出一种线段映射与反映射方法,用于多视角影像序列,以解决漏匹配和线段结构缺失等问题。通过与最新算法的对比分析,进一步验证了本文方法在建筑物立面结构重建中具有较好的鲁棒性和可行性。2)考虑到建筑物三维模型中存在结构扭曲形变和遮挡缺失等问题,目标高精度分类和实例化分割是亟待解决的问题。本文针对现有的基于区域的卷积神经网络框架（Mask R-CNN）在目标分类和分割中存在的不足,一方面,提出一种基于梯度算子的交叉熵损失函数,强化困难样本的挖掘和目标边缘的学习和训练,以优化分类精度和召回率,提高目标边缘准确性。另一方面,针对Mask R-CNN具有目标尺度一致性,适用于不同类目标识别,但是对于不同尺度的相似目标分类无能为力,本文通过模型纠正空间对齐模型于世界坐标轴,并提出基于模糊匹配的链式再分类算法,实现对不同尺度的相似目标进行再分类,以提高后续目标结构修复的鲁棒性。3)城市低空倾斜多视角倾斜影像通常存在目标之间遮挡与被遮挡的问题,并且因深度变化较大而产生的结构形变和扭曲的情况。基于建筑物立面目标结构特征及其同类型目标通常呈棋盘格布局等先验信息,本文结合倒角匹配算法和迭代最邻近点配准方法,提出一种顾及线特征与全局规则约束的目标定位方法,有效地解决了部分遮挡和全遮挡造成的目标定位的问题,为后续目标结构修复和遮挡推断提供了理论基础。4)城市建筑物立面通常主要由线、面等简单元素构成,且具有对称性、重复性、低秩性以及规则性等特点,本文提出一种同类型目标结构能量聚合方式对建筑物立面线段模型进行修复,并以此作为约束条件,对基于点云的三角网模型进行顾及线特征的体素化特征重建,然后,在模型纠正空间中利用低秩矩阵复原算法对部分结构缺失、扭曲变形等进行结构复原和优化。最后,本文还根据真实世界中的语义关系,在目标识别分类基础上,对被遮挡目标进行遮挡推断,解决遮挡造成的目标缺失的问题。5)为保证几何结构与纹理结构的映射关系以及纹理结构完整性、真实性,本文在模型纠正空间中生成几何结构正射深度图和纹理正射图,再次通过低秩矩阵复原方法分别对正射深度图和纹理正射图进行去噪、复原和形变优化,最后,通过纹理迁移方法对纹理结构进行修复,主要解决纹理变形、失真和丢失的问题。