增强现实技术致力于将计算机生成的虚拟物体叠加到真实场景中,在虚拟物体与现实场景叠合中,需要考虑两者在融合中的空间几何及外观一致性问题,这些视觉一致性问题是增强现实技术研究中的重要的难点问题。传统视觉一致性问题的研究算法存在的主要问题是依赖辅助设备,应用具有局限性,算法过于复杂,影响了增强现实技术的广泛应用。本文研究基于深度学习的虚实一致性问题,探索有效的几何一致性策略及光照一致性机制。首先,论文研究一种基于多任务学习的场景三维结构估计和摄像机定位算法。采用即时定位与映射(Simultaneous Localization and Mapping,SLAM)的设计思想,设计了端到端的多任务学习网络结构,为了有效地获得多任务的输出,设计场景结构估计子网络和摄像机位置参数估计子网络,并且采取三维空间几何一致性作为损失函数,对网络性能进行约束,得到了较为满意的场景三维结构估计和摄像机定位的结果,避免了传统研究中的特征检测及准确匹配的问题,同时为增强现实中虚实一致性问题的研究奠定了基础。其次,论文探索一种虚实几何一致性融合策略,研究中融合了场景语义分割的思想,设计了包括语义信息提取及全局地图融合两阶段的虚实融合框架。在语义提取阶段中,设计多任务网络框架,在获取场景语义信息的同时,也得到了较为准确的摄像机参数,以确保在利用场景语义信息进行融合的过程中,对虚拟目标的几何进行准确定位,保证了地图融合的准确性。除此而外,为了提高几何定位精度,设计目标物体全局融合策略,优化虚拟物体的几何位置,确保虚拟物体相对几何位置的准确性。进一步的实验及分析表明,所研究的虚实几何一致性融合策略可以有效地实现虚实几何一致性融合,而可以避免传统问题研究中的对标识物要求的限制。论文还探索一种虚实光照一致性融合算法。设计基于无监督学习的深度学习网络架构,对场景光照参数进行估计。网络拓扑结构包括两个子网络:表面参数估计子网络及光照估计子网络。在表面参数估计子网络中,获得场景的表面法向量和粗糙度,解决了光照参数估计中的数据标签问题。同时,在光照估计子网络中,采用无监督学习,设计表面一致性损失函数,以确保场景光照估计的准确性。进一步地,利用渲染结果作为光照一致性的约束进行优化,以确保网络光照参数估计的准确性。进一步的实验结果表明,所探索的策略能够有效实现虚拟物体和现实场景间光照一致性的融合,为增强现实视觉一致性提供了有效的解决路线。总之,本文在研究中,对几何一致性问题和光照一致性问题进行系统地分析和研究,探索了有效的策略,通过方案设计、实验结果分析,得到了有效的解决问题的方案,也为增强现实的视觉一致性问题提出了可行的解决路线,所研究的策略可以为实际应用提供有效的措施。