物体或场景的三维重建是机器视觉研究的一项重要基础内容。三维重建在汽车自动驾驶、人机交互、虚拟现实等方面起着非常重要的作用。本系统围绕三维重建的实时性与精度，采用了一种融合2D与3D图像的三维重建方法。即通过集成RGB相机与TOF3D相机，利用一种几何关系实现图像的配准，并采用一种基于Delaunay三角剖分方法与高斯滤波器相结合的数据融合方法。实验表明，该方法具有较高的重建精度，同时满足了实时性的要求。论文的主要工作有：1.通过对RGB相机与TOF相机进行标定，得到两个相机的内外参数。利用几何关系和标定得到的两个相机的外部参数，得到了RGB摄像机坐标系相对于TOF摄像机坐标系的旋转矩阵与平移向量。2.设计实现了一种自适应双边滤波器，用于对TOF深度图像进行滤波降噪。该滤波器由空间核函数与距离核函数组成，并引入了TOF幅度图像作为置信度。通过对该滤波器与其它滤波器进行比较的实验，验证了该滤波器不仅可以有效去除噪声，而且可以保留图像的边缘，具有较高的距离精度。3.利用几何关系实现了2D图像与TOF3D图像的立体配准。该方法具有不受图像对比度以及分辨率限制的优点。另外，本文设计实现了一种基于Delaunay三角剖分方法与高斯滤波器相结合的数据融合方法，得到了高分辨率的彩色三维重建图像。最后根据前面提出的理论开发了一套三维重建软件系统。