基于深度学习的单视角三维物体表面网格重建研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:flysnake
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于图像的三维重建算法在计算机图形学和视觉相关的各项任务中,例如自动驾驶,虚拟现实以及增强现实等,都发挥着十分重要的基础性作用。长期以来,传统算法主要利用基于多视图几何的立体对应实现三维重建,然而这类算法的重建结果往往受限于输入图片对于视角的覆盖范围。而随着深度学习技术的飞速发展,从单张图片重建目标物体的三维模型这一具有挑战性的任务具有了可行性。最近一系列基于深度学习的三维重建算法被提出,其中目标物体的三维模型可用体素,点云或者表面网格去近似建模。基于点云的三维表征方式避免了体素表达引入的方格量化误差。而表面网格进一步引入了局部领域点之间的连接关系,实现了对连续的物体表面的分段平面近似,可以表征更丰富的几何细节。因此,在本文中,我们着力于从单张图片中重建物体的三维表面网格。我们首先设计了一种从单张图片重建三维模型表面网格的通用深度网络模型,即残差网格网络。与现有的基于深度学习的三维重建算法相比,我们的方法具有以下特点:(1)基于残差网络的深度网格形变,其中一个给定的初始化表面网格经由多个残差连接的形变模块不断地逼近目标物体的表面流形,逐步减小残差并细化重建结果;(2)一种度量重建网格表面上采样点与真实点云最近邻距离的新型目标函数,优化该目标函数可促进重建的表面网格与真实点云的完全匹配。然而,针对具有复杂拓扑的三维物体,仅依靠对初始化表面网格做形变无法恢复正确的拓扑。为此,我们又针对性地提出了首个可以端到端从单张图片重建具有复杂拓扑的表面网格的拓扑修正网络。该方案的关键在于不断交替网格形变与拓扑修正的渐进成形框架。其中网格形变模块通过预测网格顶点的位移不断减小重建表面网格与真值之间的距离,而新型的拓扑修正模块通过删减重建误差较大的三角面片的连接,实现拓扑的演化。通过对这两个过程的迭代,可以在不断修正网格拓扑的同时提高重建精度。在大规模公开数据集上的实验证明了,我们的算法在数值和可视化上结果上都优于当前的其他方案,特别是针对具有复杂拓扑的三维模型的重建。
其他文献
显著性目标检测任务旨在将图像中最具有视觉差异性的区域定位和分割出来。它被广泛应用于其他复杂的计算机视觉任务的预处理,如图像编辑、图像描述以及问题回答等,以简化这些视觉任务,提高任务处理的效率。近年来,得益于全卷积神经网络的飞速发展,显著性目标检测的研究者们做了大量的工作,极大地提升了显著性目标检测的性能。然而在显著性目标的尺度、形状多变以及背景环境复杂的场景中,现有的算法无法捕捉到变化目标的信息,
世界城市化建设的浪潮和人类过度活动的冲击是导致生态系统稳定性下降的重要原因,也威胁着世界的自然与文化遗产的保护与传承。国际社会逐渐认识到这种发展并非长久之计,提出可持续发展目标,并在近年开始倡导自然与文化协同发展。我国“十二五”规划提出生态文明建设,当前逐步落实国土空间规划,坚定走中国特色可持续发展道路。可持续发展目标不仅对生态系统自然环境的健康维持提出要求,也对文化遗产保护和文化空间建设提出新的
传统改性沥青的成本增加、制备工艺复杂、相容性差、储存稳定性差,促使人们在不影响改性沥青性能的前提下,开发环保、可再生、经济的改性沥青。为了克服常规改性粘合剂的上述缺点,引入用于柔性路面的改性粘合剂的替代来源是必不可少的。近年来,木质素作为一种沥青改性剂,因其来源广泛、价格低廉、可再生性好、具有提高沥青路面使用性能的潜力而受到越来越多的关注。然而,现有研究缺乏对不同类型木质素改性沥青的性能、储存稳定
网格模型与点云模型是三维模型的两种重要表示方式。为了使三维模型呈现的真实感更加强烈,网格模型与点云模型的精细程度变得越来越高。这给数据加载和模型渲染带来了巨大的挑战性。为了减少加载和渲染三维模型的时间开销,合理的解决方案是通过减少原始网格模型中的面数或点云模型的点数来对三维模型进行数据的精简。许多研究者提出了保持三维模型几何形状特征的简化算法并取得了成功的效果。然而三维模型的颜色和纹理特征在模型的
醇醚羧酸盐(AEC)是一类新型阴离子表面活性剂,毒性小、易生物降解、表面张力低及与其他表面活性剂配伍性好等特点,是一类多功能的绿色表面活性剂。我国对AEC的研究已有十多年,主要工艺路线为氯乙酸钠与脂肪醇聚氧乙烯醚反应制备AEC。但由于氯乙酸钠羧甲基化法的产品质量不高,限制了产品的应用推广。与传统工艺相比,贵金属催化氧化法具有工艺流程短、对设备要求低、可用于连续化生产并可制成高纯度产品等优点,因此引
神经元电活动蕴含着丰富的神经信息.因此对神经元的放电节律的研究更有助于理解神经信息的编码和表达.内分泌神经元控制体内各种激素的分泌,对个体的生长、发育以及身体机能的调控起着至关重要的作用.本研究以三维的内分泌模型为基础,结合动力系统分岔理论,通过数值模拟与理论分析探究该模型固有的动力学性质以及在电磁感应下神经元产生的分岔与放电模式.本文第三章研究了钙离子电流变化下内分泌神经元产生的放电模式.利用快
人体外形重建在许多场景中都扮演着必要的角色,例如在虚拟现实游戏、电影特效、产品定制、增强现实等许多应用中都少不了人体外形重建。图像和视频是信息传递的主要载体,因此如何从图像和视频中获得人体姿态一直是计算机视觉的研究热点之一。当前大多数研究工作都试图采用回归人体参数模型,从而产生与图像和视频中人体一致的姿态。然而,这些方法存在以下问题:人体参数模型无法显示,诸如头发、面部表情、衣服的细节等;因为从高
纤维增强复合材料(Fiber-Reinforced-Polymer,简称FRP)是一种新型材料,具有轻质、高强、耐腐蚀的优点,目前已广泛用于实际工程中。FRP-混凝土-钢双壁空心构件是一种新型组合构件。该新型组合结构中,内部填充的混凝土受到FRP外管和钢内管的约束作用,相比未约束混凝土具有更高的受压强度及更好的变形能力;钢管由于同时受到外侧混凝土及FRP管的约束,能有效避免向外屈曲,能充分利用其强
从大量的生物医学电子文本中自动抽取其中实体之间的关系,对生物医学应用例如生物医学知识图谱的构建,生物医学知识发现等等具有十分重要的意义。随着深度学习、自然语言处理技术的发展,关系自动抽取技术也取得了长足的进步。然而生物医学文本中存在的专业性词汇,实体在句子中的较大跨度,以及句子中混杂的大量无用信息,仍为医学关系抽取带来重大挑战。本文从结合文本序列信息和句法依赖信息的角度出发,通过借助句法结构信息来
基于行人的多目标跟踪算法在视频分析、智能安防中有着广泛的应用。但跟踪算法只能提供跟踪目标的边界框表示,而在行人姿态识别、视频编辑等更复杂的任务中,往往不能满足于边界框表示,还需要分割算法分割出精确的目标边缘,从而对跟踪目标做更精细的处理。现有的联合实例分割与多目标跟踪的算法较少,且计算量较大,部署困难。因此本文立足于算法的落地部署,采用轻量型网络结构将目标检测、实例分割和多目标跟踪三个任务集成于单