赋予机器像人类一样感知三维世界的能力一直是人工智能领域的一个长期研究的问题。受到人类认知方式的启发,本文展开了多源多视的三维场景和物体重建的研究。所提出的方法从大量样本中学习形状先验,因此甚至可以从单视角的彩色或者深度图像推测某个物体完整的三维结构。随着输入视图数量的增多,三维重建结果可以被不断改善。三维重建有许多潜在的应用,例如计算机辅助设计、混合现实、自动驾驶和机器人等。本文在分析了相关研究后发现,现有的三维重建方法主要存在三个问题:第一,这些方法需要扫描完整的物体才可以重建物体完整的三维结构,然而这在一些情况下是不可行的;第二,这些方法难以充分利用不同数据源和视角的数据,仅能从彩色或深度图像中重建三维结构,然而彩色图像的多视角特征匹配在弱纹理或重复纹理物体上会失败,深度图像也无法获取不发生反射物体的几何结构。第三,这些方法不考虑场景的语义信息,因此重建后的物体和背景融为一体,难以将物体从重建的场景中分离。本文针对上述问题,依次从单源单视三维物体重建、多源多视三维物体重建和多源多视三维场景重建三个层面展开研究。具体地,本文的研究内容和主要贡献分为以下三个方面:首先,为了解决现有方法无法恢复物体不可见部分三维结构的问题,本文针对单目彩色相机、双目彩色相机和深度相机从单视角拍摄的图像提出了三种几何结构感知的单源单视三维物体重建方法,利用已知的颜色或空间信息以及学习的几何先验推断物体未知部分的三维结构。对于单目彩色相机,本文提出了基于几何先验的三维物体重建方法,从大规模三维数据集中学习几何先验,隐式地建立图像空间和三维模型空间的映射关系;对于双目彩色相机,本文提出了基于深度感知的三维物体重建方法,利用双目视图估计物体的深度图,在恢复物体完整三维结构时更好地保留物体几何结构的细节;对于深度相机,本文提出了基于网格化残差网络的三维物体重建方法,将3D Grid作为几何结构的中间表示,使得在计算时充分利用上下文信息,同时更好地保留了深度相机所捕获的几何结构。在Shape Net、Pix3D和KITTI等数据集上的实验结果表明,所提出的这三个方法可以从单视角拍摄的图像中恢复某个物体的完整三维结构,其重建质量相比于现有方法有3%至18%不等的提升。其次,为了解决现有方法无法充分利用不同数据源和视角数据的问题,本文提出了多尺度上下文感知融合的多源多视三维物体重建方法,通过在三维模型空间融合多个彩色相机和深度相机的重建结果,使得不同数据源和视角的信息得以相互补充。一方面,不同模态的数据对于不同材质的物体具有不同的鲁棒性:对于弱纹理、重复纹理的物体,多视角彩色图像难以恢复其三维结构;对于不发生反射的物体,深度图像也无法获取其几何信息。另一方面,不同的视角可以观察到物体的不同部件,而往往可见部件的重建结果优于不可见部件的重建结果。利用这两个特性,本文提出了多尺度上下文感知融合,对来自不同数据源和不同视角重建结果中的每个部件的重建质量进行评估,从中选取重建质量最佳的部件生成最终的重建结果。在Shape Net、Pix3D和Things 3D数据集的实验结果表明,所提出的多尺度上下文感知融合不仅在重建质量上相比现有的方法有4%至20%不等的提升,而且拥有更好的可解释性。最后,为了使得场景中的物体可以直接从重建的场景中分离,本文提出了基于场景语义感知的多源多视三维场景重建方法,通过在重建时对场景进行语义建模,实现在重建场景的同时恢复场景中每个物体完整的三维结构。为了实现场景语义感知,本文提出了基于局部特征记忆网络的视频物体分割方法,该方法将场景中的物体从图像序列中分离,并更好地区分具有相似外观的物体。为了重建场景和其中的物体,本文设计了基于场景语义建模的三维场景重建方法,该方法通过重建每个物体的完整三维结构,并估计物体的位置和位姿,从而完成对三维场景的重建。在SUN3D数据集和实地拍摄的视频上的实验结果表明,所提出的基于场景语义感知的多源多视三维场景重建方法对场景和其中的物体能取得比现有方法更好的重建结果。通过上述研究,本文对三维场景和物体重建进行了深入的探索,并为真实场景的三维重建提供了切实可行的解决方案。本文从单源单视单物体三维重建问题出发,进而提出了针对多源多视单物体三维重建和多源多视多物体的三维重建方法。针对现有三维重建方法所存在的三个问题,本文所提出的方法在重建场景时对场景进行语义建模,使得场景中物体的三维结构可以被更完整地恢复和并更容易地分离;同时,该方法对弱纹理、重复纹理和不发生反射的物体更加鲁棒。