论文部分内容阅读
三维人体骨架在人机交互、增强现实和医疗保健等领域有着广泛的应用。随着三维扫描技术的发展,点云数据的获取更加便捷,从点云中提取三维人体骨架对于三维场景理解具有重要意义。传统的点云骨架提取算法在处理一些较为复杂的人体点云模型时可能会出现分支缺失、骨架断开等错误,并且不能获取具有语义信息的三维人体骨架,因此其应用场景非常有限。近年来,深度学习在语义推理方面展现出了较强的性能,基于深度学习的3D人体姿态估计方法发展迅速,然而现有的3D人体姿态估计方法大多以图像为输入,不能直接处理点云数据。尽管现有的点云深度学习方法在物体分类和点云分割任务上取得了成功,但是点云的稀疏特性以及人体骨架回归的高度非线性使得将这些点云深度学习框架扩展到人体点云骨架提取上仍面临一些挑战。针对上述问题,本文在点云深度学习框架Point CNN的基础上,提出了一种基于深度学习的三维人体骨架提取方法。本文具体工作如下:1.通过基于深度学习的点云收缩策略将人体关节点检测任务转化为偏移向量回归以及语义分割任务,降低了从空心的人体点云中回归关节点三维坐标的难度。点云收缩策略使得位于人体表面的点云收缩至关节点附近,从而将每个表面点转化为对应的关节点预测值。然后对所有的关节点预测值进行筛选、聚集,得到最终的三维人体骨架。2.采用歧义消除策略在点云收缩前剔除原始点云中远离关节部位的歧义点,该策略避免了点云收缩阶段的一些错误和低质量预测,提高了偏移向量回归以及人体部位分割的准确率,从而降低了关节点回归误差。3.由于现有人体姿态数据集大多是由彩色图像或者深度图像组成,而且由深度图像转换的点云数据包含较多的量化误差及缺失,因此本文提供了一个小规模人体点云骨架数据集用于训练和测试。在人体姿态估计数据集UBC3V和本文提供的人体点云骨架数据集上的实验结果表明,与传统点云骨架提取方法相比,本文方法对较为复杂的人体姿态和包含缺失的点云数据具有更好的鲁棒性。与现有的基于深度图像的3D人体姿态估计方法相比,本文方法具有更小的误差。另外,本文还通过消融实验证明了本文方法中每个网络组件的有效性。