视觉学习方法是机器人快速学习人类技能的一种重要方式,也是提高机器人智能化水平的有效途径之一。该方法与传统的预编程指令模式相比,可以有效地免除人工编程所需要的时间,加快新场景下的部署效率。而且在执行效果上,通过视觉学习所得到的技能具有更强的鲁棒性,可以在更加复杂场景下进行任务的执行,提高任务的可操作性。本文提出一种让机器人利用视觉学习操作指令的方法。该方法通过输入操作者演示视频即可转化为机器人指令。而且与其他视觉学习方法不同,本文所提出的方法可以从复杂动作视频中学习相应的技能。具体地说,本文主要包含三个模块,分别为动作分割模块,物体识别模块和基于语言学符号规则的指令组合模块。其中第一个模块首先使用了Two-Stream Inflated 3D Conv Net(I3D)网络进行特征的提取,然后再使用Encoder-Decoder Temporal Convolutional Network(ED-TCN)对动作特征进行进一步提取及对视频动作进行分割,分割后的每一个视频段将包含单个操作动作。在第二个模块中,我们使用Mask R-CNN对物体进行特征的抽取,并将物体特征和动作特征进行融合,最后使用Catboost对物体进行分类。在最后一个模块中,我们通过设立基于语言学符号规则对识别的物体和动作进行组合,并结合现实场景生成具有语义信息的概括指令,最终转译成机器人指令进行执行。为了验证本文所提出的机器人视觉学习技能的有效性,我们在公开数据集MPII Cooking Activities Dataset上进行了实验。实验结果表明本文的方法可以有效地将视频转化为四元组指令,并成功在人形机器人Baxter上进行运行。