随着计算机技术的发展,人机交互的方式也由传统的单一模式变为多样化,更具有人性化等特点,基于计算机视觉的交互方式成为目前的研究热点。其中的手势识别的相关技术被采用为实现人机交互的关键技术。因为人手手势的具有表达语义的多样性,灵活性,相对其它基于视觉的交互方式更具有实用性和通用性。本文设计并实现了一个基于单目视觉的手势遥控器系统,该遥控器由摄像头,FPGA, PSoC红外通讯模块组成。本文的具体工作有：手势识别相关算法的研究,包括手势检测、跟踪、分割和特征提取的方法。对于几种经典的算法进行分析比较后,提出了适于本设计的方法：采用codebook的方法建立背景模型,利用Camshift与Kalman滤波相结合的方法对手势进行跟踪。对于动态手势通过人手运动向量的特征进行识别；对于静态手势采用人手的轮廓特征进行识别。手势识别算法在PC和嵌入式处理器平台的实现。PC平台采用Intel计算机视觉库OpenCV实现验证算法。然后对比介绍几种流行的嵌入式硬件平台,通过比较采用Altera公司DE2系列FPGA开发板作为硬件开发平台。介绍了SOPC下Altera软核处理Nios II在视频图像处理上的开发使用,完成视频信号的采集、存储、处理及送VGA显示器输出,最后介绍了利用串口与FPGA连接的PSoC红外通讯模块的设计。将部分手势识别的算法移植到FPGA硬件电路上,充分利用了FPGA并行处理和硬件重构的特点。通过对遥控器系统的测试,验证本设计可以实时对人手手势进行跟踪识别。为进一步对基于手势的体感遥控器进行改进和提高提供了经验。