随着计算机视觉技术的发展以及人们对新的交互手段的需求,基于计算机视觉的交互系统也逐渐发展起来。传统的交互方式如鼠标、键盘、手柄等等在某些特殊领域已经无法发挥便利的作用。因为随着计算机的不断发展以及超大显示设备的出现,对人们的交互手段都提出了新的挑战。而基于计算机视觉的交互方式能够很好的解决问题,是一种更符合人们思考方式的交互手段,摆脱了传统交互手段中必须与固定的界面交互的方式。本文构建了基于计算机视觉的手势交互系统,针对所在实验室的大型集群设备,以及3X3背投投影显示设备设计,系统通过普通的摄像头设备拍摄手势动作,能够完成3X3投影强显示场景的交互动作。整个系统运行在Linux上,分为服务器端(即交互识别端)和客户端(系统控制端)。且系统可以方便的移植到其它系统之上,因为系统不仅使用了可移植的C代码,而且将系统根据功能划分为不同的模块,各自模块相对独立,方便移植和扩展。本文针对首先系统的论述了计算机交互技术的发展,讨论了计算机视觉交互的特性以及一般的系统架构,对比了不同的现有计算机视觉交互系统,描述了它们的优缺点,之后讨论了摄像头定标技术,因为在精确的控制系统中摄像头定标是必不可少的,提出了摄像头定标方法。然后论述了手势识别和手势跟踪技术,对比了简单的肤色模型和基于高斯概率统计的肤色模型,分析了实验对比。着重分析了跟踪技术中的Camshift算法,简单的描述了Kalman滤波跟踪技术,以及提出了将两者结合的构想。最后,对本文所构建的系统进行了综述,以及对系统的特点分析和展望。基于计算机视觉的交互方式目前还面临着很多的挑战,一方面由于视觉交互面对的是整个生活场景,而生活场景是多变且难以预测的,且场景会受到很多外界因素的干扰,如光照,温度等等。如何克服这些困难给我们提出了很大的挑战。不过随着计算机技术特别是视觉处理算法的改进,一定能够克服这些困难,给大家带来全新的交互方式,使得交互方式更加符合人们思维方式。