近些年来,机器人逐渐成为科技、经济和社会的热门话题之一,逐渐被应用于各行各业中,比如工业生产、家居服务、教育娱乐等方面。随着人机互动的需求越来越多,出于任务目的、人与机器相互的安全考虑,机器人的感知功能也愈显重要,本文主要探究虚拟现实场景与机器人示教的结合。机器人示教是当前机器人应用领域中的重要研究分支,使用者通过示教操作,把技能传递给机器人,使机器人学习到的技能具有高度类人化。技能传递、共享是机器人高效获取操作技能的有效途径。传统工业机器人通常采用手持编程器实现运动规划,这样耗时耗力且容易导致示教动作僵化。而基于仿真器的离线编程软件在环境和物件模型不精确可知情况下难以使用。如何高效完成某一项装配任务的操作要领掌握在具有长久工作经验的流水线工作员手上。如何让熟练工人从自身的作业特点出发,手把手的对机器人进行示教,实现技能从人向机器人的传递,是人机示教、共融的重要研究课题。在传统的示教过程中,操作者总是需要与机器人本体有近距离的交互,这样使得处在危险环境中或是机器人失灵的情况下,操作者的人身安全受到了威胁。虚拟/混合现实(VR/MR)是可以将虚拟场景投射到真实环境中的一项热门技术,将这种技术结合到机器人示教中,可以方便地实现远程交互的需求,在保证操作者安全的前提下,为其提供富有临场感的遥操作体验。针对远距离示教的问题,本文提出了一种基于混合现实技术的跨平台工业机器人示教系统,采用手势识别的方式提取操作者的手部运动信号,进而实现对机器人末端的远程实时拖曳操作,同时,通过设计混合现实环境,将操作者手部虚拟模型与机器人实际工作环境进行结合,并使用头戴显示器进行显示,实现操作引导,进一步的提高了操作过程的临场感,有效的提高了示教的准确性,提供给操作者高效逼真的示教体验。除此以外,本文还针对手势控制器Leap Motion的丢失跟踪问题,提出了一种多传感器数据融合方法,用以提高Leap Motion手势控制器的鲁棒性,实现全姿态的手掌位置检测。最后,本文设计了一套机械灵巧手的遥操作示教平台,通过手势传感器,获取操作者的手部运动数据,进而用以控制五指类人机械手,实时还原操作者的手部动态,从而实现不规则形状物件的抓取。