基于深度相机的室内物体高保真三维重建关键技术研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:superheron
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
使用消费级、低精度的深度相机对三维物体进行快速重建,在智能机器人、自然人机交互等领域具有重要的应用价值。由于消费级深度相机所采集的深度图像精度较低,噪声较大且易产生孔洞,如何实时、交互式、高保真度地重建真实场景的三维模型仍具有一定的技术挑战性。本文对基于稠密深度数据的实时相机跟踪与高精度表面重建进行了深入研究,对三维重建流程的几个关键环节进行了改进和提升,形成了解决方案。主要工作如下:
  (1)针对实时相机姿态估计中的漂移问题,本文提出了一种利用尺寸已知的长方体参照物几何约束,求解高精度相机姿态,避免相机漂移的方法。其通过长方体参照物的正交邻面以及闭合轮廓信息与实时深度测量进行辅助配准,使相机跟踪算法准确、鲁棒地运行在非复杂环境(单物体)环绕扫描的场景中,较大地降低了相机漂移的可能性,降低了相机跟踪算法对被扫描场景或物体复杂性的依赖。
  (2)针对生成的表面模型在尖锐边缘及其他细、薄几何区域易产生膨大形变,以及断裂、网格碎片、孔洞等拓扑结构错误的问题,本文提出两种各向异性的数据融合方法,聚焦于模型生成的保真度。其第一种方案通过逐体素存储、判别视线与法线向量的突变,对逐体素采取方向性的加权数据融合策略;第二种方案进一步提出一种细薄几何区域检测方法,并将多视图数据融合重新形式化为概率二分类问题进行求解,最终达到生成表面模型的逐点尺寸保真性、网格表面的流形性以及拓扑一致性。
  (3)针对多帧数据融合生成的全局表面往往过度平滑,高曲率几何细节信息丢失的问题,本文提出一种基于彩色图上光照信息,对深度图或场景表面高曲率几何细节进行恢复的方法。由于原始深度图含有较高噪声,细微的高曲率几何结构难以在原始深度图中测得,而多帧加权融合之后又倾向于生成平滑表面。本文提出的优化方法,在保持曲面表面应有的平滑性的同时,通过估计场景的近似光照,以及模型表面反照率,直接推算模型表面的高曲率几何细节,以生成较高保真度、真实感的表面网格模型。
  上述研究工作在自行采集的CU3D数据集上进行了充分测试和评估,实验结果表明:与现有算法相比,本文所提出的小物体三维重建系统能够有效提高模型重建的精度。将CU3D数据集以及系统的代码实现在Github网站上开源发布,以允许其他研究人员复现、对比本文的工作,并做出进一步的改进。
其他文献
随着科学技术的发展,每个人的生活都离不开各式各样的互联网服务。但是,互联网的服务系统却面临着信息爆炸带来的信息过载挑战。个性化推荐系统则是解决这一问题的核心方法。  现阶段面向大规模互联网服务系统中的个性化推荐主要面临着以下三大块棘手的问题:海量移动用户访问日志难以识别;项目受短期热点的影响激增;不同的协同过滤推荐应用很难利用同一个算法来提升效果。  第一个问题,是来源于用户层面的挑战。数据的获取
在信息化的时代,人们获取大量数据,从中提取关键信息,并据此做出决策。各个领域的从业者,包括科学家、分析师、记者、设计师,乃至普通大众,均意识到数据和数据分析的重要性。其间,数据可视化和可视分析作为发掘数据中有效信息、传达见解和交流与协作的高效工具被广泛运用于商业智能、城市规划、新闻传播等。  伴随着互联网、传感器、物联网等技术的不断发展,人们获取信息的能力和分析数据的需求不断增长。这样的趋势对于可
手势交互可以通过多种交互设备进行,如深度相机、彩色相机、数据手套、表面肌电电极等。基于表面肌电的手势交互凭借其易穿戴、对光照环境的鲁棒性以及对残疾用户运动意图较强的识别力等优点,成为人机交互领域的新型研究热点之一。  在基于表面肌电的手势交互中,其核心问题是如何准确地对肌电信号建模并识别出用户输入信号中所表达的含义。研究者们已基于经典机器学习和深度学习的框架对表面肌电手势识别进行深入研究,但依然存
随着计算机技术的快速发展,互联网积累了海量的时序数据,如问答数据、社交网络数据和电商交易数据等。如何对这些时序数据中内隐因素之间的交互进行建模,理解个体用户或群体用户在时序数据中所蕴含的意图和行为,是当前人工智能领域研究的热点和难点。本文以问答系统中时序数据理解为研究对象,提出了若干算法模型并进行验证。  一般而言,问答时序数据中丰富的内隐交互信息可以分为结构时序交互和语义时序交互。结构时序交互表
学位
随着云计算、大数据和物联网等信息技术的飞速发展,全球数据呈现出海量集聚的特点。这些从不同来源所获取的海量数据反映着人类社会的生活和规律,如群体出行和交通流量。因此,如何对多源数据进行分析与理解,以更好地全面了解这些多源数据所蕴含的丰富信息,是一个值得研究的重要问题。  多源海量数据本质上是序列数据,这些从不同来源获得的序列数据之间相互补充、彼此交互,刻画着人类社会中群体的行为习惯和生活模式。本文针
学位
问答系统是体现人工智能的一种通用方法,是自然语言处理领域非常重要的一个方向。随着多种媒体数据的积累和深度学习在各个领域取得的突破性进展,跨媒体智能给问答系统带来了新的机遇和挑战。以视觉问答为典型代表的跨媒体问答方向得到了广泛的关注和研究。  视觉问答(Visual Question Answering,VQA)是回答关于图像问题的任务,输入为一幅图像以及关于该图像的开放自由的自然语言问题,输出为文
学位
图像及视频数据包含大量的视觉信息,人类可以利用这些信息进行学习和推理,进一步理解活动规律和社会行为。随着数据的海量涌现,如何从获得的海量冗余的视觉数据中甄别和遴选出关键视觉信息,并为后续视觉语义内容理解和分析提供支持,是当今计算机视觉领域所关注的热点问题,具有十分重要的研究意义。  在这些热点研究中,如何在去除图像、视频数据中冗余背景信息基础上,甄别发现具有丰富语义信息的视觉目标物体,即显著性目标
由于影视和游戏制作等领域的需求驱动,三维人脸重建一直是计算机图形学中重要研究方向。与设计师人工建模不同,三维人脸重建主要从输入数据中自动塑造人脸几何。输入类型主要有:2D数据(图像或视频),2.5D数据(立体图像或视频、深度图),3D数据(点云、网格等)等。其中基于单张图像的三维人脸重建输入设备最简单,输入数据量最少,互联网上的素材量最大,因此在面向普通用户的消费级的应用中也最具有潜力。近年来,随
三维重建是计算机视觉中的研究内容之一。准确快速地获取场景中的三维信息(深度)在逆向工程、机器人、导航、增强现实等领域中有着重要作用。在获取场景深度信息的方式上,相比于较为昂贵的激光雷达、结构光扫描仪等仪器,被动式立体匹配方法通过较为廉价的设备(双目相机)即可获取相对较高精度的深度信息。本文借鉴深度学习、数理统计等理论和方法,深入研究了相机标定以及双目立体匹配算法,并将其用于高精度三维人体模型重建。
人体的视觉感知与理解在安防监控、自动驾驶、人机交互、视频内容分析等方面有诸多的应用前景,因而一直是计算机视觉领域的重要研究课题,受到工业界和学术界的广泛关注。多年来,研究员们围绕这一课题中的关键技术展开研究,并取得了丰硕成果。然而,目前的技术研究大多是聚焦于其中的主流问题,技术覆盖不够全面,将这些技术落地到实际应用场景时,尚存在一些诸如恶劣光照条件下对人体的检测定位不够理想,对人体细粒度行为的识别
学位