随着时代的发展,生产力的提高,有许多人从繁琐的工作中解脱出来,这一切则归功于工业机器人的发展。同时工业机器人技术也随之大幅度提升,人机交互技术也得到了快速的发展,其应用范围也更加的广泛,人机交互的方式也更加符合人与人之间的交互方式,如人脸识别、可对话的智能音箱等。这些交互方式大大减少了人体操作机器相关指令的操作,使人体能够更加自然的与机器进行交互,大大提升了人类使用机器时的舒适性。人机交互技术在可见的未来之内将会是科研工作者重点研究的对象。随着移动互联时代的到来,人机交互的方式也变的丰富起来。人体通过运行在智能终端上面的应用程序可以和机器建立起来丰富的交互方式,同时也造就了应用程序井喷式发展。应用程序本质是一种计算机程序,为了更好的和用户进行交互需要进行不断的修复和更新。除应用程序与人体交互的方式之外,人体也可以通过自身的肢体动作来控制机器人,达到人机交互的目的。因此本文的工作主要为以下两个方面:一方面是针对目前市场上自动化测试均需要第三方框架的问题,本文提出一种全新的自动化测试系统。首先,使用无线投屏技术取代传统的摄像头。这不仅节省了测试成本而且降低了识别用户界面元素的难度。其次,采用先进的光学字符识别技术从复杂的背景图像中准确定位出待点击的文本元素。当需要对图像元素进行定位的时候,则采用归一化相关匹配算法进行定位。最后将定位到的坐标传递给高精度的UR3机器人执行点击操作。该系统能够分别对中英文移动应用进行自动化测试。另外一方面是针对通过实时捕捉人体关节信息实现机械臂模仿人体抓取物体的问题,本文提出了一个实时抓取物体的系统。首先,通过Kinect传感器对人体手臂进行关节运动信息捕捉和Vicon光学动作捕捉系统对人体手臂和手指进行构建刚体然后实时捕捉关节运动信息。其次,采用“50帧检测算法”避免因为人体手臂振动导致的关节信息误抖动操作。然后,采用循环队列的方法解决机械臂指令覆盖的问题。最后,将采集的手臂和手指的运动信息传递给机械臂和机械手实现移动和抓取的动作。该系统能够对硬质物体和软质物体进行抓取。