论文部分内容阅读
通过CAD等三维制作软件在虚拟三维空间中构建三维数据模型是常用的三维建模方法。然而在面对数量巨大,复杂度很高的建模任务时,重构所花费的时间、人力成本是十分巨大的。基于双目、三目视觉的自动建模方法虽然较好的解决了复杂建模技术人力和时间成本花费巨大的问题,但这些方法对于设备的依赖性过高。本文研究并提出了一种基于深度学习的单目视觉三维点云重构技术,可以有效的降低人工建模的成本,同样又避免了使用深度相机所需的设备成本及环境的局限性。本文首先提出了一种基于残差网络的三维点云重构网络3D-ReConstnet。该网络使用了残差卷积神经网络来提取图片的特征,避免了深度神经网络容易出现梯度爆炸或梯度消失的问题,同时避免了深度神经网络难以训练的问题。之后,本文使用Chamfer距离(Chamfer distance)和EM距离(Earth Mover’s distance)作为损失函数来优化生成模型的效果,能够正确评估点云分布,避免了评估不正确的问题。同时,两种评估函数的双约束也可能解决重建模型过于分散或过于集中的问题。在ShapeNet和Pix3D两个CAD三维模型数据集上的实验结果证明了提出的深度三维点云重构网络具有良好的重构效果。针对有遮挡的二维图片,不适合给出一个单一且确定的三维重构。因此,本文提出了一种针对存在遮挡的二维图片生成语义多样性重构的方法。该方法首先将二维图片的特征向量转换为正态分布的概率向量,并基于这个概率向量生成三维点云数据。之后,该方法使用了基于惩罚角度的多样性损失函数训练概率向量生成网络,以生成语义不同的多样性重构。本文所提出的语义多样性重构方法可以为有遮挡图片生成语义不同的多样合理重构,而且不影响信息充足的非遮挡图片的重构生成。