论文部分内容阅读
使用消费级、低精度的深度相机对三维物体进行快速重建,在智能机器人、自然人机交互等领域具有重要的应用价值。由于消费级深度相机所采集的深度图像精度较低,噪声较大且易产生孔洞,如何实时、交互式、高保真度地重建真实场景的三维模型仍具有一定的技术挑战性。本文对基于稠密深度数据的实时相机跟踪与高精度表面重建进行了深入研究,对三维重建流程的几个关键环节进行了改进和提升,形成了解决方案。主要工作如下:
(1)针对实时相机姿态估计中的漂移问题,本文提出了一种利用尺寸已知的长方体参照物几何约束,求解高精度相机姿态,避免相机漂移的方法。其通过长方体参照物的正交邻面以及闭合轮廓信息与实时深度测量进行辅助配准,使相机跟踪算法准确、鲁棒地运行在非复杂环境(单物体)环绕扫描的场景中,较大地降低了相机漂移的可能性,降低了相机跟踪算法对被扫描场景或物体复杂性的依赖。
(2)针对生成的表面模型在尖锐边缘及其他细、薄几何区域易产生膨大形变,以及断裂、网格碎片、孔洞等拓扑结构错误的问题,本文提出两种各向异性的数据融合方法,聚焦于模型生成的保真度。其第一种方案通过逐体素存储、判别视线与法线向量的突变,对逐体素采取方向性的加权数据融合策略;第二种方案进一步提出一种细薄几何区域检测方法,并将多视图数据融合重新形式化为概率二分类问题进行求解,最终达到生成表面模型的逐点尺寸保真性、网格表面的流形性以及拓扑一致性。
(3)针对多帧数据融合生成的全局表面往往过度平滑,高曲率几何细节信息丢失的问题,本文提出一种基于彩色图上光照信息,对深度图或场景表面高曲率几何细节进行恢复的方法。由于原始深度图含有较高噪声,细微的高曲率几何结构难以在原始深度图中测得,而多帧加权融合之后又倾向于生成平滑表面。本文提出的优化方法,在保持曲面表面应有的平滑性的同时,通过估计场景的近似光照,以及模型表面反照率,直接推算模型表面的高曲率几何细节,以生成较高保真度、真实感的表面网格模型。
上述研究工作在自行采集的CU3D数据集上进行了充分测试和评估,实验结果表明:与现有算法相比,本文所提出的小物体三维重建系统能够有效提高模型重建的精度。将CU3D数据集以及系统的代码实现在Github网站上开源发布,以允许其他研究人员复现、对比本文的工作,并做出进一步的改进。
(1)针对实时相机姿态估计中的漂移问题,本文提出了一种利用尺寸已知的长方体参照物几何约束,求解高精度相机姿态,避免相机漂移的方法。其通过长方体参照物的正交邻面以及闭合轮廓信息与实时深度测量进行辅助配准,使相机跟踪算法准确、鲁棒地运行在非复杂环境(单物体)环绕扫描的场景中,较大地降低了相机漂移的可能性,降低了相机跟踪算法对被扫描场景或物体复杂性的依赖。
(2)针对生成的表面模型在尖锐边缘及其他细、薄几何区域易产生膨大形变,以及断裂、网格碎片、孔洞等拓扑结构错误的问题,本文提出两种各向异性的数据融合方法,聚焦于模型生成的保真度。其第一种方案通过逐体素存储、判别视线与法线向量的突变,对逐体素采取方向性的加权数据融合策略;第二种方案进一步提出一种细薄几何区域检测方法,并将多视图数据融合重新形式化为概率二分类问题进行求解,最终达到生成表面模型的逐点尺寸保真性、网格表面的流形性以及拓扑一致性。
(3)针对多帧数据融合生成的全局表面往往过度平滑,高曲率几何细节信息丢失的问题,本文提出一种基于彩色图上光照信息,对深度图或场景表面高曲率几何细节进行恢复的方法。由于原始深度图含有较高噪声,细微的高曲率几何结构难以在原始深度图中测得,而多帧加权融合之后又倾向于生成平滑表面。本文提出的优化方法,在保持曲面表面应有的平滑性的同时,通过估计场景的近似光照,以及模型表面反照率,直接推算模型表面的高曲率几何细节,以生成较高保真度、真实感的表面网格模型。
上述研究工作在自行采集的CU3D数据集上进行了充分测试和评估,实验结果表明:与现有算法相比,本文所提出的小物体三维重建系统能够有效提高模型重建的精度。将CU3D数据集以及系统的代码实现在Github网站上开源发布,以允许其他研究人员复现、对比本文的工作,并做出进一步的改进。