交互技术是增强现实关键问题之一。人们往往希望像与周围事物互动一样与计算机中的信息进行交流。然而在现实世界中与虚拟信息的交互是非常困难的。本文研究并构建一个自然的人机交互模式,在双目视觉环境下,对人手及其指尖进行检测和跟踪,并根据双视图中的匹配点重构指尖三维运动轨迹,从而实现与空间中虚拟信息的交互。主要研究工作有三点:　　 (1)设计并实现一种人手检测算法。在YCrCb颜色空间中使用基于颜色直方图的分割方法获得完整的手形轮廓。把指尖搜索问题转化为求函数极值问题,利用多个种子点搜索指尖。当搜索结果为五时即确认人手位置。实验结果表明,在室内光照环境下,本文提出的手检测算法有效防止具有同样肤色的人脸干扰,达到良好的检测效果。　　 (2)提出抗干扰双手跟踪算法。本文结合CamShift算法和灰预测模型对手跟踪。实验中当手缓慢运动甚至静止时,灰预测模型预测公式有一项分母趋于零,导致预测出错。本文从理论上解释了其中因为,进而通过添加扰动因子重构输入数据对灰预测模型加以改进。改进后的跟踪实验分两组,第一组在人脸干扰和双手互干扰情况下均获得良好的跟踪效果；第二组在受到书本完全遮挡情况下,改进的灰预测模型能够引导CamShift算法正确跟踪手。　　 (3)求解双摄像机之间最优位姿。使用张正友标定法对双摄像机同时进行标定,获得摄像机内外参数。在此基础上,采用最小二乘法、奇异值分解算法和非线性约束优化模型求解双摄像机之间的最优位姿。最后建立线性三维测量模型,仿真了指尖在双目视觉下的三维运动轨迹。　　 本文设计并实现一个双目视觉增强现实系统雏形,通过人手与虚拟物的碰撞实现三维空间中浏览图像的功能,为以后建立更具交互性的应用奠定了基础。