论文部分内容阅读
室内场景重建与理解是计算机视觉、计算机图形学以及机器人学中的难点。作为室内场景导航、推理等复杂任务的核心问题,室内场景重建与理解是室内服务型机器人的基础。随着工业和娱乐领域对数字几何需求的不断增长,对室内场景进行分析理解比过去任何时候都更加重要。近年来深度扫描技术的快速发展使得室内场景的数据获取方式越来越多元化。由于这一技术革新,室内场景的重建和理解技术经历了由简单到复杂以及由低维到高维的发展演变,通过三维数据对室内场景进行重建和理解是当前该领域中的热点和难点之一。
另一方面,随着大数据时代的到来,数据驱动方法在多个领域逐渐崭露头角。在计算机视觉和计算机图形学的多个应用当中,数据驱动方法已被证明是一种能够有效分析几何数据中结构和语义的方法。而随着三维数据量的不断增大,越来越多的数据驱动方法被用来解决三维室内场景的重建和理解问题。
本文研究数据驱动的室内场景三维重建与语义理解技术。在室内场景三维重建方面,本文研究了基于平面共面性检测的重建方法。在室内场景语义理解方面,本文研究了基于递归自编码的物体检测方法。在主动式室内场景物体分析方面,本文研究了考虑场景分割的物体高精度重建方法。论文主要创新点包括:
1.面向三维场景重建的共面性检测网络:当关键点无法被检测时,平面可以作为关键点之外的重要约束因素。利用平面的共面性信息增强重建效果是三维场景重建的重要发展方向之一。本文提出一种面向三维场景重建的共面性检测网络以及一种基于共面性约束的三维重建方法。其中,共面性检测网络能够在相对位姿未知的情况下直接检测不同帧间平面的共面信息。基于共面性约束的三维重建方法能够同时对平面的共面性约束和关键点约束进行优化,计算得到考虑平面共面性的三维重建结果。该方法的重建精度显著优于基于关键点的传统方法。
2.基于递归自编码器的三维场景语义理解方法:场景的结构信息和上下文信息在室内场景分析中起到了重要的作用。本文提出一种基于递归自编码器的层次三维场景语义理解方法。该方法首先用层次结构对场景数据进行组织,然后通过递归自编码器传播场景的上下文信息,进而检测场景中的物体。该方法能够有效获取场景的上下文信息,并且在两个物体检测公开数据集上取得性能第一。
3.机器人主动式三维场景重建与分析:本文提出一种机器人主动交互式的三维场景重建方法。在该方法中,场景的扫描重建与物体分析相互关联:对场景的扫描重建能够为分析场景中的物体提供数据来源,而物体分析反过来能够用来评估场景的重建质量。机器人首先会对场景进行初始扫描,然后对扫描得到的场景进行物体分割,对于确定性低的区域,机器人使用机械手臂与之进行交互(推动物体),进而验证物体分割的结果。场景分割方法基于一种在线学习模型,推动验证获取到的信息被用来对该模型进行在线更新。方法的最终输出是对场景中物体的高精度重建和分割。
另一方面,随着大数据时代的到来,数据驱动方法在多个领域逐渐崭露头角。在计算机视觉和计算机图形学的多个应用当中,数据驱动方法已被证明是一种能够有效分析几何数据中结构和语义的方法。而随着三维数据量的不断增大,越来越多的数据驱动方法被用来解决三维室内场景的重建和理解问题。
本文研究数据驱动的室内场景三维重建与语义理解技术。在室内场景三维重建方面,本文研究了基于平面共面性检测的重建方法。在室内场景语义理解方面,本文研究了基于递归自编码的物体检测方法。在主动式室内场景物体分析方面,本文研究了考虑场景分割的物体高精度重建方法。论文主要创新点包括:
1.面向三维场景重建的共面性检测网络:当关键点无法被检测时,平面可以作为关键点之外的重要约束因素。利用平面的共面性信息增强重建效果是三维场景重建的重要发展方向之一。本文提出一种面向三维场景重建的共面性检测网络以及一种基于共面性约束的三维重建方法。其中,共面性检测网络能够在相对位姿未知的情况下直接检测不同帧间平面的共面信息。基于共面性约束的三维重建方法能够同时对平面的共面性约束和关键点约束进行优化,计算得到考虑平面共面性的三维重建结果。该方法的重建精度显著优于基于关键点的传统方法。
2.基于递归自编码器的三维场景语义理解方法:场景的结构信息和上下文信息在室内场景分析中起到了重要的作用。本文提出一种基于递归自编码器的层次三维场景语义理解方法。该方法首先用层次结构对场景数据进行组织,然后通过递归自编码器传播场景的上下文信息,进而检测场景中的物体。该方法能够有效获取场景的上下文信息,并且在两个物体检测公开数据集上取得性能第一。
3.机器人主动式三维场景重建与分析:本文提出一种机器人主动交互式的三维场景重建方法。在该方法中,场景的扫描重建与物体分析相互关联:对场景的扫描重建能够为分析场景中的物体提供数据来源,而物体分析反过来能够用来评估场景的重建质量。机器人首先会对场景进行初始扫描,然后对扫描得到的场景进行物体分割,对于确定性低的区域,机器人使用机械手臂与之进行交互(推动物体),进而验证物体分割的结果。场景分割方法基于一种在线学习模型,推动验证获取到的信息被用来对该模型进行在线更新。方法的最终输出是对场景中物体的高精度重建和分割。