传统GIS关注地理空间和位置信息,缺乏符合人类感官认知的自然表达方式。虚拟地理环境（Virtual Geographic Environment,VGE）将地理学与真实感图形学等计算机技术结合,具有更好的直观性、真实性、动态性和交互性。作为虚拟地理环境的核心技术之一,增强现实（Augmented Reality,AR）具有虚实交融、表现力强和交互性好等优点。通过将虚拟信息嵌入在真实场景的图像上,并通过手势等自然方式进行交互,AR技术为用户呈现出感官效果真实的环境,有助于增强用户对地理环境的认知能力。遮挡一致性是沉浸感AR环境需要满足的基本原则,它要求AR系统中各要素之间保证正确的遮挡关系。视频图像是三维场景在二维平面的投影,恢复视频场景与嵌入模型的空间遮挡关系是实现遮挡一致性的前提。目前大多数AR应用均忽略了遮挡关系的处理,视频仅作为虚拟模型的背景进行绘制。而在AR应用中,手势交互是常用的交互方式之一,它的动态性强,手势与嵌入模型的遮挡关系不固定,先绘制视频后绘制嵌入模型的方式容易导致视觉错乱。虽然使用深度传感器,或利用双摄像头通过立体视觉的方法可以获取视频场景的深度信息,重建场景遮挡关系,但存在设备成本或便携性等问题。本文研究视频场景中顾及手势遮挡的3D模型无缝嵌入问题,主要研究内容与成果如下:1)基于单目视觉的视频场景深度重建方法本文研究了基于深度学习的单目视觉深度重建。针对FCRN网络对手势深度恢复效果不佳的情况,本文对其损失函数进行了改进;针对FCRN网络在新环境的重新学习问题,研究了基于Kinect的深度图样本获取和配准方法,提出了一种针对低质深度图的修复方法,并采用剪裁和插值方法对样本集进行扩充;通过使用新样本集进行迁移学习,取得了良好的深度重建效果。2)手势检测及提取方法针对传统前景提取方法面对光照变化不稳定的缺点,提出了一种手势检测及提取方法——YOLOG,该方法使用手势数据集训练YOLO网络获得手势检测模型,结合混合高斯模型进行手势提取,然后基于手势边框进行手势掩模的噪声粗过滤,再进行噪声的处理得到精细手势掩模。3)顾及手势遮挡的3D模型无缝嵌入方法本文首先通过单目视觉恢复场景深度和提取前景手势掩模,恢复了手势和场景的遮挡关系,然后采用前景手势部分的再绘制替代用透明遮罩隐藏虚拟对象的方法,实现了顾及遮挡一致性的3D模型无缝嵌入视频场景的目标。实验结果验证了本文方法的有效性。本文方法仅使用单个廉价摄像头,兼顾交互友好性和表现丰富性,易于在教育、旅游、规划和国土等领域推广应用。本文的研究成果也为其他相关研究提供了有益借鉴。