论文部分内容阅读
基于视觉的增强现实是一种通过将计算机产生的虚拟信息融合到使用者所看到的真实世界景象中,进而对人的视觉系统进行景象增强或者扩展的技术。随着计算机视觉技术的发展以及移动平台计算能力的提高和普及,基于视觉的移动增强现实已在医疗、军事、工业、教育、娱乐、文化等领域凸现出巨大的应用潜力和研究价值。然而,移动平台的计算资源仍然与个人计算机平台存在较大差距,许多现有的基于个人计算机平台的方法尚不能在移动平台上获得应用。针对这个困难,本文在三种典型应用场景中对移动增强现实系统中存在的物体跟踪鲁棒性、相机定位速度与定位精度等问题进行了系统性的研究。主要贡献如下: (1)针对场景模型未知的移动增强现实应用场景,提出了一种静态模板和动态更新模板相结合的快速有效物体跟踪方法。该方法在实时跟踪过程中使用动态更新的模板与预测区域内的特征进行匹配,以减少由于视角、遮挡等因素引起的匹配数量下降问题,提高定位的稳定性。同时该方法在跟踪失败后,使用静态模板对跟踪区域进行重定位,减轻了由动态模板带来的漂移问题。在移动平台上的实验表明,在线双模板更新的方法具有良好的实时性和鲁棒性,同时与传统的物体跟踪方法相比,该方法更适合于场景模型未知情况下的移动增强现实应用场景。 (2)针对平面标识物的移动增强现实应用场景,设计了一种新的平面混合标识物并提出了一种基于此类平面标识物的相机定位方法。新的标识物由自然图像和边框组成,因此兼具了人工标识物易于快速检测和自然图像标识物跟踪效果平滑连续的优点。基于此类标识物的相机定位方法降低了在视频帧中检测标识物的时间,同时由于限定了图像提取特征点及描述子的区域,也在一定程度上避免了无关内容对跟踪恢复方法的影响,提升了恢复的成功率。实验结果表明当图像发生视点、尺度、旋转等变化时,新的混合标识物相较于传统的标识物,更易于检测并且更有利于相机姿态的准确快速恢复。 (3)针对从运动恢复结构得到点云模型的增强现实应用场景,提出了一种基于主成分分析进行点云分组后的有效相机定位方法。该方法在建立定位数据阶段,首先使用二进制特征通过从运动恢复结构的方法重建真实场景,然后将重建的三维点云进行主成分分析,并在变换后的空间点云集合的主方向上进行分组。由于点云数据具有了分组信息,在相机定位过程中结合该信息和相机运动的连续性,定位程序可以更快速地确定匹配的候选集。实验结果表明,经过分组后的点云数据能够有效减少相机定位时二维图像点与三维空间点的匹配时间,提升相机定位时的实时性和准确性。 (4)针对城市规模场景中的移动增强现实应用,提出了一种基于空间点几何性质的三维点云约减方法,并将该方法应用于定位数据生成过程,实现了一个在定位数据上具有良好扩展性的实时移动平台增强现实系统。约减方法首先对空间点误差以及点云覆盖条件进行了定量描述。在此基础上,进一步利用整数规划方法求得更有利于相机定位的点云集合。在多组数据集上的实验表明,相比基于特征匹配数量的约减方法,基于空间点几何性质的约减方法能产生更有利于相机定位的点云数据。同时在移动平台上的实验表明使用约减的点云进行相机定位,极大地降低了初始化与恢复阶段相机定位的时间,同时也节省了存储空间,因此具有良好的扩展性和实时性。