论文部分内容阅读
摘 要：工业机器人因其高效灵活与精准稳定等优点，在工业中具有广泛的应用。机器视觉技术的进步，使得机器人控制引导技术的功能也更加强大。本文介绍了工业机器人视觉引导系统的组成，从视觉引导系统的标定、目标物体的识别与定位跟踪方面做了研究，为解决工业机器人视觉引导关键技术提供了理论基础。
关键词：视觉引导；标定方法；靶标绪论
高智能水平的工业机器人是我国装备制造业水平提升的重要标志，随着工业机器人的应用领域的不断延伸，其视觉引导技术在机器人实用性技术中的重要性也突显了出来。机器人视觉涉及到人工智能、图像处理、模式识别等多领域的交叉，通过对目标进行非接触测量，为机器人提供目标物体实时的状态信息[1]。
一、工业机器人视觉引导系统的组成
机器人视觉引导系统通过非接触传感的方式，可以实现指导机器人按照工作要求对目标物体进行操作，包括零件的定位放取、工件的实时跟踪等。工程中常用的系统包括2D、2.5D 和3D工业机器人视觉引导系统[2]。
（1）2D視觉引导系统通过摄像机等数据采集工具，采集工件几何模型信息，获取其特征位置的坐标信息，对工件平面位置进行辨识和定位，选取不同的特征点会对2D视觉引导系统的精度产生影响
（2）2.5D视觉引导系统相较2D系统而言，增加了目标物体的高度识别，包括物体的X、Y、Z方向的移动和围绕Z轴的转动，其原理与2D视觉引导系统相似。
（3）3D视觉引导系统通过摄像机等数据采集工具，采集空间物体的六个自由度的信息，其复杂程度相对较高。传统的3D视觉引导系统需要两个摄像机从不同的角度对空间物体进行定位，而目前先进的视觉引导系统仅需一台摄像机，就能实现目标物体的空间定位[3]。
二、工业机器人视觉引导系统标定研究
（一）摄像机标定
摄像机标定是通过选取尺寸精度较高的已知空间物体作为参考，建立其与成像之间的关系，所选用的标定参考物称为靶标。在摄像机的实际标定中，在靶标上制作一些圆形或棋格阵列等作为特征信息[4]。
（二）手眼标定方法
手眼系统（Eye-in-Hand）是指将摄像机装备安装于机器人末端执行机构上，并且随着机器人工作而改变位置。由于摄像机是随着机器人一起运动的，其与机器人的世界坐标系的相对关系始终在变化，而摄像机与末端执行机构的相对保持不变。
手眼标定方法通过标定获得摄像机在机器人执行机构的位置，根据标定结果和执行机构当前的位置姿态信息，求出不同坐标系之间的转换关系。
（三）基于空间向量的机器人与靶标位姿标定
由于机器人世界坐标系与摄像机坐标系之间的关系不能直接获得，通过靶标坐标系与机器人世界坐标系的关系和靶标坐标系与摄像机坐标系的关系来间接的建立机器人世界坐标系与摄像机坐标系的关系[5]。
利用靶标上3个特征点的信息建立靶标坐标系，并利用靶标上的已知点的信息，采用空间几何知识，建立两个坐标系的空间变换矩阵，计算出靶标坐标系与机器人坐标系之间的变换方程。
（1）在机器人的末端安装有尖状工具，将机器人的末端坐标系移至尖状工具的尖点，建立机器人TCP工具坐标系。
（2）靶标坐标系的建立，需要以靶标上某一圆心位置作为靶标坐标系原点，将横排方向作为X方向，纵排方向作为Y方向，垂直于靶标板面的方向作为Z方向。
（3）通过机器人TCP工具坐标系逐一的触碰靶标上的3个特征点，通过空间几何变换的知识，计算出两个坐标系的变换矩阵。
（四）基于P3P空间点位姿求解
PnP问题是由Fischler于1981年提出的，其定义为给定空间n个特征点的相对位置关系和其与射影中心的角度，求取射影中心点到空间特征点的距离。PnP可作为求解目标物体的位姿估计的方法。我们在目标物体上定义若干个位置关系已知的点，将这些点的坐标作为特征信息。摄像机通过采集这些点的特征信息，计算出特征点在摄像机坐标系中的位置坐标。
P3P方法通过摄像机采取空间已知的3个点的相对位置信息，求解出这3个空间点在不同坐标系中的位置坐标。利用空间几何的知识，根据特征点在摄像机坐标系和工件坐标系中的位置坐标，求解两者的变换关系。
三、目标物体的识别与定位跟踪
（一）Hough变换检测直线
Hough变换是借助于直角坐标系向极坐标系转换的变换关系，将直角坐标系中的直线变换为极坐标系中的一个点，从而实现从整体到具备的问题简化[6]。Hough变换的基本步骤如下：
（1）建立累加器数组，将图像空间的每个像素点的坐标值转化为极坐标，将相同的极坐标值进行累加。
（2）将累加器中的峰值点提取出来，这些峰值点对应于原始图像中的共线点；
（3）利用几何关系，求解出共线点坐标对应的直线方程，实现直线的检测功能。
（二）Hough-链码法
Hough-链码法的基本思想是通过Hough-变换测量出目标物体的边缘直线，建立直线方程，依据所建立的直线方程，计算出直线间的交点，并判断不同直线的交点是否为目标物体的形状的角点。通过计算得到Hough-链码，将该链码与数据库中的模板链码进行匹配，实现工件的辨识功能[7]。
（三）目标物体的定位跟踪
摄像机采集到目标物体图像信息后，将图像进行平滑、二值化等一系列处理后，利用图像的几何不变矩特征求出区域的质心。
运动目标的跟踪，关键环节之一是描述目标的图像特征，同时，由于光照和其他外界环境等因素的影响，往往需要找出一种或多种特征对目标进行完整性的描述。常采用的特征有轮廓、边缘、区域形状等外形特征以及颜色直方度、灰度共生矩阵以及各种不变矩等统计特征。
四、结论
本文对工业机器人视觉引导系统的位姿变换的标定技术，目标物体的识别与定位跟踪技术做了研究。目前市场上主流的工业机器人大部分来自欧美等发达国家，国内对其核心技术掌握的还较少，研究工业机器人视觉引导关键技术，对其在我国的实际应用范围的推广有很大的推动作用。
参考文献
[1] 陈立松. 工业机器人视觉引导关键技术的研究[D].合肥工业大学，2013.
[2] 吕游. 视觉引导技术在工业机器人智能抓取中的应用[D].合肥工业大学，2009.
[3] 周衍超. 基于视觉引导的机器人智能抓取技术研究[D].广东工业大学，2015.
[4] 郭磊. 移动视觉精密测量关键技术研究[D].天津大学，2011.
[5] 许海霞. 机器视觉标定与目标检测跟踪方法及其应用研究[D].湖南大学，2011.
[6] 张滋黎. 基于视觉引导的大尺度空间坐标测量方法研究[D].天津大学，2010.
[7] 于凌涛，王正雨，于鹏，王涛，宋华建. 基于动态视觉引导的外科手术机器人器械臂运动方法[J]. 机器人，2013，02：162-170.
关键词：视觉引导；标定方法；靶标绪论
高智能水平的工业机器人是我国装备制造业水平提升的重要标志，随着工业机器人的应用领域的不断延伸，其视觉引导技术在机器人实用性技术中的重要性也突显了出来。机器人视觉涉及到人工智能、图像处理、模式识别等多领域的交叉，通过对目标进行非接触测量，为机器人提供目标物体实时的状态信息[1]。
一、工业机器人视觉引导系统的组成
机器人视觉引导系统通过非接触传感的方式，可以实现指导机器人按照工作要求对目标物体进行操作，包括零件的定位放取、工件的实时跟踪等。工程中常用的系统包括2D、2.5D 和3D工业机器人视觉引导系统[2]。
（1）2D視觉引导系统通过摄像机等数据采集工具，采集工件几何模型信息，获取其特征位置的坐标信息，对工件平面位置进行辨识和定位，选取不同的特征点会对2D视觉引导系统的精度产生影响
（2）2.5D视觉引导系统相较2D系统而言，增加了目标物体的高度识别，包括物体的X、Y、Z方向的移动和围绕Z轴的转动，其原理与2D视觉引导系统相似。
（3）3D视觉引导系统通过摄像机等数据采集工具，采集空间物体的六个自由度的信息，其复杂程度相对较高。传统的3D视觉引导系统需要两个摄像机从不同的角度对空间物体进行定位，而目前先进的视觉引导系统仅需一台摄像机，就能实现目标物体的空间定位[3]。
二、工业机器人视觉引导系统标定研究
（一）摄像机标定
摄像机标定是通过选取尺寸精度较高的已知空间物体作为参考，建立其与成像之间的关系，所选用的标定参考物称为靶标。在摄像机的实际标定中，在靶标上制作一些圆形或棋格阵列等作为特征信息[4]。
（二）手眼标定方法
手眼系统（Eye-in-Hand）是指将摄像机装备安装于机器人末端执行机构上，并且随着机器人工作而改变位置。由于摄像机是随着机器人一起运动的，其与机器人的世界坐标系的相对关系始终在变化，而摄像机与末端执行机构的相对保持不变。
手眼标定方法通过标定获得摄像机在机器人执行机构的位置，根据标定结果和执行机构当前的位置姿态信息，求出不同坐标系之间的转换关系。
（三）基于空间向量的机器人与靶标位姿标定
由于机器人世界坐标系与摄像机坐标系之间的关系不能直接获得，通过靶标坐标系与机器人世界坐标系的关系和靶标坐标系与摄像机坐标系的关系来间接的建立机器人世界坐标系与摄像机坐标系的关系[5]。
利用靶标上3个特征点的信息建立靶标坐标系，并利用靶标上的已知点的信息，采用空间几何知识，建立两个坐标系的空间变换矩阵，计算出靶标坐标系与机器人坐标系之间的变换方程。
（1）在机器人的末端安装有尖状工具，将机器人的末端坐标系移至尖状工具的尖点，建立机器人TCP工具坐标系。
（2）靶标坐标系的建立，需要以靶标上某一圆心位置作为靶标坐标系原点，将横排方向作为X方向，纵排方向作为Y方向，垂直于靶标板面的方向作为Z方向。
（3）通过机器人TCP工具坐标系逐一的触碰靶标上的3个特征点，通过空间几何变换的知识，计算出两个坐标系的变换矩阵。
（四）基于P3P空间点位姿求解
PnP问题是由Fischler于1981年提出的，其定义为给定空间n个特征点的相对位置关系和其与射影中心的角度，求取射影中心点到空间特征点的距离。PnP可作为求解目标物体的位姿估计的方法。我们在目标物体上定义若干个位置关系已知的点，将这些点的坐标作为特征信息。摄像机通过采集这些点的特征信息，计算出特征点在摄像机坐标系中的位置坐标。
P3P方法通过摄像机采取空间已知的3个点的相对位置信息，求解出这3个空间点在不同坐标系中的位置坐标。利用空间几何的知识，根据特征点在摄像机坐标系和工件坐标系中的位置坐标，求解两者的变换关系。
三、目标物体的识别与定位跟踪
（一）Hough变换检测直线
Hough变换是借助于直角坐标系向极坐标系转换的变换关系，将直角坐标系中的直线变换为极坐标系中的一个点，从而实现从整体到具备的问题简化[6]。Hough变换的基本步骤如下：
（1）建立累加器数组，将图像空间的每个像素点的坐标值转化为极坐标，将相同的极坐标值进行累加。
（2）将累加器中的峰值点提取出来，这些峰值点对应于原始图像中的共线点；
（3）利用几何关系，求解出共线点坐标对应的直线方程，实现直线的检测功能。
（二）Hough-链码法
Hough-链码法的基本思想是通过Hough-变换测量出目标物体的边缘直线，建立直线方程，依据所建立的直线方程，计算出直线间的交点，并判断不同直线的交点是否为目标物体的形状的角点。通过计算得到Hough-链码，将该链码与数据库中的模板链码进行匹配，实现工件的辨识功能[7]。
（三）目标物体的定位跟踪
摄像机采集到目标物体图像信息后，将图像进行平滑、二值化等一系列处理后，利用图像的几何不变矩特征求出区域的质心。
运动目标的跟踪，关键环节之一是描述目标的图像特征，同时，由于光照和其他外界环境等因素的影响，往往需要找出一种或多种特征对目标进行完整性的描述。常采用的特征有轮廓、边缘、区域形状等外形特征以及颜色直方度、灰度共生矩阵以及各种不变矩等统计特征。
四、结论
本文对工业机器人视觉引导系统的位姿变换的标定技术，目标物体的识别与定位跟踪技术做了研究。目前市场上主流的工业机器人大部分来自欧美等发达国家，国内对其核心技术掌握的还较少，研究工业机器人视觉引导关键技术，对其在我国的实际应用范围的推广有很大的推动作用。
参考文献
[1] 陈立松. 工业机器人视觉引导关键技术的研究[D].合肥工业大学，2013.
[2] 吕游. 视觉引导技术在工业机器人智能抓取中的应用[D].合肥工业大学，2009.
[3] 周衍超. 基于视觉引导的机器人智能抓取技术研究[D].广东工业大学，2015.
[4] 郭磊. 移动视觉精密测量关键技术研究[D].天津大学，2011.
[5] 许海霞. 机器视觉标定与目标检测跟踪方法及其应用研究[D].湖南大学，2011.
[6] 张滋黎. 基于视觉引导的大尺度空间坐标测量方法研究[D].天津大学，2010.
[7] 于凌涛，王正雨，于鹏，王涛，宋华建. 基于动态视觉引导的外科手术机器人器械臂运动方法[J]. 机器人，2013，02：162-170.