投影-摄像交互系统是人机交互研究中的一个分支,它是一种集先进的投影显示技术、计算机视觉技术、模式识别技术和人工智能技术于一体的新型交互模式。目前还存在一些关键的技术问题未得到解决,例如：系统的移动性和配准、手势的描述与识别、人手的精确自动跟踪等。本文主要针对这三个关键问题展开研究。首先,通过分析摄像机成像模型,得到摄像机的内部参数；再根据投影仪和摄像机之间的相对应关系,重构投影屏幕；采用添加基点的方法辅助系统的配准,该方法能够利用更少的基点数就可以达到输出稳定图像的目的。结合“以用户为中心”的人机交互思想,从用户的角度出发,分析认知行为模型及其在手势交互模式下的应用,进一步分析了基于隐马尔科夫(HMM)模型的手势识别方法。还采用了形状特征描述和匹配的方法来研究交互手势的产生和定义,取手势形状的Freeman链码编码作为其形状描述子,并作了适当的修正。将复杂交互手势分解为元手势的组合,先对元手势进行描述和编码,再从空间位置关系和时序逻辑关系两个方面对复杂的连续手势进行描述,以达到定义交互手势的目的。在完成手势描述和定义之后,还分析了YCbCr颜色空间应用于手势跟踪识别领域的优势,结合改进的椭圆肤色聚簇模型对人手进行分割定位。由于人手的运动是连续的,研究具有“柔性”的手势识别方法使手势在一定幅度和范围内灵活变化具有实用意义,因此,采用连续形变理论来跟踪人手的运动轨迹。接着,根据人手结构的生理特征和摄像头成像的基本特点,把人手特征分为U态特征点、V态特征点和CL线段三类,采用多尺度多点结构响应模型,对这三类特征分别提取有用信息。在手势匹配阶段,采用修正的Hausdorff距离(MHD),首先对元手势抽象为点、直线和曲线三种形状轨迹进行匹配,再从个数、空间位置和时序逻辑三个方面对连续手势进行匹配识别,取相似度最高的作为识别结果。最后,搭建投影-摄像交互系统并设计相应实验,通过实验证明所设计的该系统具有如下特点：可实现系统的移动并自动配准；将复杂手势分解为元手势的组合降低了其描述难度；将人手的特征分类并采用多尺度多点结构响应模型增强了识别准确度。