论文部分内容阅读
随着影视、娱乐与游戏行业的蓬勃发展,能为用户提供丰富的立体感和沉浸感且支持选择任意视点的多媒体技术——自由视点三维视频——将成为下一代视频应用的主要技术方向,在计算机视觉领域受到较大的关注。基于多视图三维重建是计算机视觉领域的重要研究课题之一,是被动式三维重建技术的重要组成部分;在其基础上形成了多视角视频序列三维重建技术。基于多视角视频序列重建三维动态场景是生成自由视点视频的主要技术之一,也是目前计算视觉领域最富有意义和挑战性的任务之一。然而,基于多视角视频序列重建技术快速生成具有良好时空一致性的时变三维模型序列仍然面临较多的问题。本文结合计算机视觉、多视图几何、图形图像等相关理论和技术,主要从提升重建速度和重建质量两个方面来研究三维动态场景重建。一方面研究提高基于多视角视频图像序列重建三维动态场景的速度;另外一方面研究提高三维模型序列的时空分辨率以获得具有良好时空一致性的时变点云模型序列。具体主要研究工作如下:1.提出了一种基于贡献加权快速生成可视化外壳的方法为了提高三维场景的重建速度,采用基于剪影轮廓序列重建技术是比较合适的选择。然而,基于剪影轮廓重建技术在空间线段求交阶段逻辑设计复杂,导致重建速度以及重建算法鲁棒性下降。针对该问题,提出一种基于贡献加权方法重建可视化外壳;该方法通过矩阵存储可视线段生成过程中贡献权值,然后一次性遍历矩阵,获得空间可视线段的端点集合。提高了可视化外壳的生成速度,同时增强了重建算法的鲁棒性;进一步提高了基于剪影轮廓重建技术对三维动态场景实时重建的能力。2.提出了两种稠密化稀疏点云模型的方法:基于平面-空间颜色局部一致性方法和基于空间轮廓连续性方法为了获得良好的模型质量,稀疏点云模型应在保证重建速度的同时获得良好的模型外表特性。针对该问题提出两种较新颖的准稠密点云模型生成方法:基于平面-空间颜色局部一致性方法和基于空间轮廓连续性方法。前一种方法主要应用在场景纹理比较丰富的情况,后一种方法主要应用在场景纹理比较贫乏的情况。通过这两种方法能够快速生成全视点的、紧致的且具有外表特性的准稠密点云模型。3.提出了一种基于时空轮廓连续性提升时变点云模型序列时空一致性的方法为了提高三维视频序列的时间分辨率,也即提高三维模型序列时间一致性,高质量地跟踪关键帧模型之间的形变仍然是一个开放性的问题。针对该问题提出了一种基于多尺度轮廓稠密化的方法,从多视角视频序列中快速获得具有良好时空一致性的准稠密时变点云模型序列。该方法快速地、高质量地完成三维动态重建对象的形变跟踪,为生成自由视点三维视频打下良好的基础。4.提出了一种采用周期加权数据融合的智能手机相机位姿参数估计的方法为了提高移动智能相机的姿态参数估计的鲁棒性和准确性,不同传感器采集的姿态数据需要进行良好的融合。基于视觉特征方法和基于惯性传感器方法在相机位姿跟踪过程中,都存在数值误差且会发生误差累积,影响相机位姿参数估计的准确度。针对该问题提出了利用周期加权进行数据融合的智能手机相机位姿参数估计的方法。该方法提高了移动智能相机的姿态参数估计的鲁棒性和准确性。本文对基于多视角视频序列重建三维动态场景以生成时变点云模型序列的当前若干关键问题进行了研究,并提出了行之有效的解决方法。理论分析和实验结果表明,本文提出的多种解决方法是有效的。