随着信息技术的发展,增强现实(Augmented Reality,简称AR)技术越来越广泛地引起了研究人员的注意,其研究内涵与应用范围也不断拓展延伸。它是一种将计算机系统产生的虚拟物体、场景或系统提示信息叠加到真实世界中实现对真实世界有效扩充和增强的技术。增强现实技术与虚拟现实(Virtual Reality,简称VR)技术密切相关,但存在区别。不同于VR的纯虚拟环境,AR强调虚拟对象与真实环境的完美融合。在早期的研究中,研究者们多将注意力集中在解决跟踪注册、三维重建等问题上,并取得了突破性的进展。但随着研究的不断深入,虚实遮挡处理成为增强现实系统所必须解决的又一关键性问题。当将虚拟物体叠加到真实场景中时,虚拟对象与真实场景间存在一定的空间位置关系,即遮挡与被遮挡的关系。目前,大多数增强现实系统只是简单的将虚拟对象叠加到真实场景图像上,以致真实场景始终被虚拟物体遮挡。当场景中的虚拟物体被真实物体遮挡时,用户很难正确判断虚实物体间的位置关系。针对上述问题,本文详细分析了现有方法存在的缺点与不足,吸取了数字图像处理、模式识别、计算机视觉和非线性优化等学科理论的最新成果,围绕虚实遮挡处理中的半自动实时处理方法、自动实时处理方法和非刚性物体虚实遮挡处理方法等技术内容展开了深入、系统的研究与实践,目标旨在针对不同的应用场合,研究相应的虚实遮挡处理方法,在提高增强现实系统可用性的同时最大限度保证虚实遮挡处理的效果和系统的实时性。本文的主要研究工作如下：(1)基于轮廓跟踪的虚实遮挡处理方法研究针对现有基于模型的虚实遮挡处理方法中,要求用户重建三维场景或遮挡物体,以及基于深度的虚实遮挡处理方法仅适用于真实场景比较固定的情况,设计一种基于轮廓跟踪的虚实遮挡处理框架,使系统在未知场景或遮挡物体三维模型的情况下,能够实时的完成虚实遮挡处理,并且适用于视角发生变化的情况。(2)半自动实时虚实遮挡处理方法的研究与实现设计一种基于用户手工指定与系统自动划分相结合的半自动实时虚实遮挡处理方法,在完成第一帧虚实合成图像遮挡处理的同时为后续帧的遮挡判断提供可靠的依据,最大限度的降低操作的复杂程度,在后续帧中,采用一种基于水平集的快速跟踪方法,实时、精确的跟踪目标轮廓,不仅保证了虚实遮挡处理的有效性,也保证了系统的实时性和可用性。(3)自动实时虚实遮挡处理方法的研究与实现针对增强现实系统无人工干预的要求,设计一种自动实时虚实遮挡处理方法。在无人工参与的情况下,利用立体匹配技术计算得到的初始帧图像中像素点的深度信息,判断真实物体与虚拟物体间的空间位置关系,保证判断的准确性。另外,采用一种基于光流法和最大流／最小割的轮廓跟踪方法,使系统在场景复杂、前景背景颜色相似的情况下也能实时、精确的跟踪目标轮廓,且当初始轮廓与目标边界相差较大时,也能快速收敛到目标边界,从而保证了后续帧图像中遮挡处理的有效性和实时性。(4)非刚性物体虚实遮挡处理方法的研究与实现针对真实场景中存在非刚性物体的情况,借助因式分解技术和基于活动外观模型的轮廓跟踪技术,设计一种非刚性物体虚实遮挡处理方法,在准确求取摄像机外部参数的同时完成虚实遮挡处理,使系统在无标识物的条件下,能够完成三维注册和遮挡判断,降低系统对标识物的依赖,扩大系统的应用范围。