在过去几十年中,研究者们已经提出了许多针对不透明物体的基于图像的重建与渲染技术,但是这些方法都不能直接应用在透明物体上,因为透明物体与光线之间的相互作用关系存在特殊的视角相关性,这将直接违背传统方法对物体表面的朗伯反射属性的假设。因此,本文特别针对透明物体,从数据获取系统出发,显式地考虑经过透明物体的复杂光传输特性,采集物体位于不同相机视角下的光线与光线对应关系和光线与像素对应关系,分别讨论基于图像的透明物体完整三维重建和透明物体场景新视角合成问题。本文完成的研究工作简要概述如下:1)全自动的数据采集系统。用于采集在不同的相机视角下透明物体对光线的折射关系,即入射光线和出射光线对应关系,以辅助透明物体的基于图像的重建与渲染。采集系统的特殊之处在于旋转平台的使用,通过将透明物体放置在旋转平台上,固定相机视角,旋转物体至不同的观察视角,使用相机获取到与物体不同表面作用的光线信息,并计算相机不同视角下的光线对应关系。此外,基于环境抠图技术能同时得到该视角下的物体蒙版(轮廓)图和光线衰减图。2)透明物体完整三维重建。基于采集到的数据,从由空间雕刻生成的初始模型开始,我们提出的算法在三个约束条件下渐进地优化初始模型:分别是法向量一致性约束、表面投影和轮廓图一致性约束以及表面平滑性约束,并逐步收敛至最终三维重建结果。在仿真和真实实验结果下,我们的方法可以有效地恢复透明物体的复杂几何形状并复现它们的光线折射特性。3)透明物体基于图像渲染。新视角合成问题,即从稀疏采样不同视角下的图像进行插值和生成新视角下的图像。在这项工作中,我们探索一个具有挑战性的新视角合成问题,专门针对于透明物体场景。也就是说,与主要关注漫反射表面而不考虑镜面反射率或透明度的现有方法不同,我们提出显式地考虑光传输特性和视角相关效应。通过使用深度卷积神经网络来学习每个新视角中的光传输矩阵,而不是使用传统的方法直接合成目标图像。因此,我们的方法在透明物体场景下新视角合成的问题上表现得更好,并且可以在每个视角下将目标对象无缝地合成到任何新背景中。另外,我们收集并将共享基准数据集(据我们所知这是第一个关于透明物体场景的新视角合成数据集),其中包含8类仿真数据和6类真实透明物体,用于新视角合成的训练和测试。实验结果表明,我们的方法可以很好地预测在新视角下透明物体折射时涉及的复杂光传输行为。