【摘 要】
:
使用智能手机进行三维重建具有设备成本低、方便携带、易于获取实时反馈等优势,随着智能手机计算性能的不断提高,在智能手机上进行实时三维重建有了可行性。目前在智能手机上的实时三维重建算法普遍存在位姿估计不准确,算法效率低,建模质量不高,只能重建小场景等问题。 本文为解决上述问题,设计了基于智能手机的实时三维重建系统。系统由三个线程构成,分别是:建模线程,后端优化线程以及显示线程,建模线程负责彩色图像获
论文部分内容阅读
使用智能手机进行三维重建具有设备成本低、方便携带、易于获取实时反馈等优势,随着智能手机计算性能的不断提高,在智能手机上进行实时三维重建有了可行性。目前在智能手机上的实时三维重建算法普遍存在位姿估计不准确,算法效率低,建模质量不高,只能重建小场景等问题。
本文为解决上述问题,设计了基于智能手机的实时三维重建系统。系统由三个线程构成,分别是:建模线程,后端优化线程以及显示线程,建模线程负责彩色图像获取、初始位姿获取、关键帧选择、计算深度图及点云融合;后端优化线程负责闭环检测及位姿优化;显示线程负责模型表面提取及模型绘制。通过智能手机厂商提供的AR解决方案实时获取相机的位姿,在此基础上利用视觉词袋模型进行闭环检测并对相机位姿进行全局优化以获取更加准确的相机位姿,位姿优化同时对融合的模型进行优化。为适应智能手机的计算性能,使用稠密光流与三角化的方式快速生成深度图,并利用基于平面的双边求解器优化深度图,使深度图在平面部分更加平整,而边缘部分更加贴合彩色图像的边缘。在点云融合阶段,在传统截断距离符号场模型的基础上,增加了颜色的融合,使得系统可以实时重建彩色模型,并且引入哈希表存储的方式使系统可以重建出高质量的室内场景模型。针对智能手机利用OpenCL架构充分调用手机的GPU性能对算法进行并行计算加速。
实验的结果表明,本系统可以在智能手机端实时重建出高质量室内场景的彩色模型,并进行实时预览反馈。重建出的三维模型可以应用于物品展示、场景展示、AR应用等多个方面。
其他文献
随着信息技术的快速发展和智能设备的不断普及,人们对人机交互(Human–Computer Interaction, HCI)方式的高效性和便捷性提出了更高的要求。基于惯性传感器的手势识别(Hand Gesture Recognition, HGR)技术只需用户手持设备并绘制简单的手势即可传达复杂的机器命令,而不需要分散用户的视觉注意力,并且这种方式不受外界环境噪声、光照强度等条件影响,因而更适合被
提升大规模图数据处理的效率对解决诸多现实问题具有重要意义。可编程逻辑门阵列(Field Programmable Gate Array,FPGA)因其可编程特性广泛应用于图计算技术的加速。现实世界中的图数据规模十分庞大,单个FPGA难以对其进行有效存储和处理。因此,采用多个FPGA互联的方式是解决上述问题的重要技术途径,其需要将图数据划分为子图,并分别放置到不同FPGA上进行处理。考虑到多FPGA
非结构化自然语言文本数据通常是有歧义的,尤其是命名实体。一个命名实体可以有多个名称,一个名称也可以表示几个不同的命名实体。实体链接任务即,将非结构化文本数据中对应实体链接到结构化知识库中,这有助于对原始的嘈杂文本数据的信息挖掘,以早日实现语义Web的愿景。 目前关于实体链接任务的研究主要基于统计模型,需要依赖人为定义的关于文本和目标实体的歧义性特征。这些特征通常需要拥有该领域知识的专家来定义,并
图在生活中扮演着至关重要的作用。在大数据时代,越来越多的应用将信息抽象成图数据,并使用图算法对图数据进行处理,例如社交网络图,路图,网络路由图等。由于现实信息随着时间逐渐变化,原始的静态图数据逐渐演变成了多版本图数据,图的规模也逐渐变大。如何对多个版本的大图中的大量数据进行存储和随机版本访问,成为了图处理中的新的问题。对多版本图数据的处理,现有的方法有的会导致海量的存储空间开销和高度的存储冗余。有
近年来,Unikernel在云计算领域成为新兴的研究热点。Unikernel是由LibraryOperatingSystem(LibOS)构建的,针对于特定应用的,单地址空间机器镜像。在Unikernel生成过程中,应用程序及其所依赖的组件被全部编译链接成一个整体并直接运行在Hypervisor之上,导致Unikernel在运行时无法修改其配置参数,无法进行在线功能更新。如果要进行配置参数和功能的
大数据时代的到来和互联网的蓬勃发展催生了大量的移动对象轨迹数据,基于这些轨迹数据的研究及应用在城市规划、用户行为分析、频繁模式挖掘等方面发挥着重要的作用,并对人们的生产及生活方式产生了极大的影响。然而,轨迹数据蕴含了移动用户在时空维度上的丰富信息,直接发布个人轨迹数据及位置统计信息会泄露用户的隐私信息。 现有的轨迹发布算法主要依托于批处理平台,而很少关注流场景下的实时隐私保护处理。轨迹流数据的高
最近的研究表明,基于深度神经网络模型的分类器的预测结果在特定环境并不具有鲁棒性,针对输入的微小改动往往会导致截然不同的输出预测结果。对抗样本正是人为设计的导致深度学习应用被欺骗甚至是失效的一种技术方法,以最大程度地增加目标网络的损失。人工智能领域的安全问题是不可忽视的一个重要方面,研究如何减轻以及防御对抗样本的攻击对人工智能未来的发展以及应用有着深远的影响。 目前,针对对抗样本的防御工作大都是通
足球比赛视频中的球员跟踪为足球赛事分析提供基础的数据支持,对智能体育视频系统的发展与应用具有重要意义。近年来,单目标跟踪领域出现的许多算法在各大数据集上取得不错的成绩,但截至目前,仍没有一种能够完美解决足球比赛视频中的球员跟踪问题的算法。 在深入分析足球比赛视频中球员目标特点的基础上,通过融合干扰项感知的颜色模型和目标感知的深度模型,提出并设计了一种球员感知的跟踪算法。颜色模型方面,提取目标球员
深度学习已在图像识别、自然语言处理等领域取得有效成果,但随着深度学习模型规模和输入数据规模的扩大,神经网络的训练过程对计算机的性能提出了更高的要求。COStream是一种数据流编程语言,在实现神经网络程序时能基于数据流模型提供的并行性,充分利用多核计算资源,减少训练时间。但现有COStream文法难以快速构建深度学习模型。 针对上述问题,对COStream的文法进行扩展,设计并实现了sequen
在以Kinect为代表的消费级深度相机进入市场后,基于深度相机的三维重建技术得到了快速发展并被广泛应用于游戏,设计,建筑等领域。但是,当前基于深度相机的三维重建技术仍然存在一些问题。在相机位姿计算方面,由于位姿计算依赖于传统图像特征提取,当场景纹理较弱或是重复纹理较多时,相机位姿计算不够准确,跟踪鲁棒性不足,直接影响到重建出的点云质量;在重定位和闭环检测方面,同样由于依赖场景纹理特征,导致重定位和