随着计算机技术的迅猛发展,人脸识别、面部表情识别、唇读、头部运动跟踪、凝视跟踪、手势识别以及体势识别等等符合人际交流习惯的新颖人机交互技术变得异常活跃。人机交互技术已经从以计算机为中心逐步转移到以人为中心,是以多种媒体、多种模式为基础的交互技术。对于移动式增强现实设备,特别是穿戴式增强现实设备,传统的人机交互手段(鼠标、键盘、触摸屏)则由于其便携性不足而显得捉襟见肘。手势是一种很自然、直观、形象的交互方式,可以形象直观的模仿传统输入方式中的点击、拖动等操作以完成与虚拟物体的交互。本文主要是实现单目增强现实环境下裸手手势与虚拟物体的交互。目前已经存在很多基于手势交互的增强现实系统,但针对移动式增强现实环境,复杂背景下动态手势实时跟踪问题仍没有得到妥善解决。本文针对复杂环境下的手势识别进行探讨,改进了常用的动态肤色模型更新方法并提出基于相邻两帧快速构建肤色模型方法,可以大大扩展基于视觉的手势交互系统应用情境。对基于指尖检测和基于2D手势模型的手势识别方法进行了改进,对利用机器学习的方法实现手部区域识别进行了尝试,并实现了增强现实环境下的交互系统。