论文部分内容阅读
摘要：现有纺织行业自动化水平较低、劳动力成本高，机器人代替人工必将成为必然。该文研制了基于双目视觉的机器人织物抓取系统，以固高四自由度机器人在搭载双目视觉系统的条件下，使用视觉伺服方法，研究了机器人如何精确定位目标织物并实现抓取，实验证明该方法能够实现机器人对目标织物的定位与抓取。
关键词：双目视觉机器人；织物
中图分类号：TP391 文献标志码：A 文章编号：1009-3044（2017）05-0132-03
随着机器人技术的迅猛发展，各种各样的机器人已经非常广泛地应用于工业、医疗、农业、教育以及人们日常生活等众多领域。目前在纺织行业中，传统织物生产后的整理工作仍然是依靠人工进行，一方面跟不上纺织业智能化发展的要求，另一方面其生产效率也不高，同时，生产车间的高温、湿气等因素也容易对人体健康产生不良影响。将机器人应用到织物整理中来将成为今后的发展趋势。而且目前的机器视觉理论[1-2]技术发展已经很成熟，将机器人和机器视觉结合起来应用于纺织业不仅能够提高纺织业生产效率，扩大利润，也能够减少环境对工人产生的不良影响。对于目标物体的三维信息获取的方法主要有双目视觉、单目视觉等方法，被国内外研究者应用到机器人的导航与定位[3]、目标的跟踪[4]、障碍物的检测[5]等方面，由于单目视觉的测量速度比较慢，相比较于双目视觉精度也较差，因此本系统采用的是双目视觉伺服系统以GBR-400四自由度机器人为研究对象，通过两个CCD摄像头来确定目标织物的位置与深度信息，实验证明该方法可以精确实现对不同形状织物的定位和抓取。
1 机器人织物抓取系统组成
实验室内视觉机器人织物抓取系统如图1所示，主要包括下面几个部分：GBR-400四自由度工业机器人，两个CCD摄像头，计算机，图像采集卡，GBR -400-SR运动控制卡、松下MinasA4 AC伺服驱动器和电机、织物传送带。计算机是系统的核心，承担着图像处理、操作界面的显示和控制以及系统各部分的通讯等重要任务；织物放置在传送带上，传送带织物传送一定位置并停止，因为织物在传送带上放置位置的随意性以及形状的不规则性，双CCD摄像头安装在传送带正上方以获得织物图像信息。
首先使用两个CCD摄像机对目标织物进行图像采集并将采集到的图像存入计算机内存，然后对采集的图像进行预处理，接下来就需要进行图像分割以及对织物的定位，最后根据图像坐标系与机器人坐标系的转换关系通过机器人轨迹规划来实现对目标织物的抓取，具体系统工作流程如图2所示。
2基于双目视觉的织物识别
2.1 摄像头标定
机器视觉的中心任务是利用计算机实现对景物的描述和识别，所谓描述是指由三维信息生产二维图像的过程，而识别则是二维图像的三维恢复，无论哪种任务，首先必须解决的都是三维物点与二维像点的对应关系问题，这种对应关系必须解决的都是三维物点与二维像点的对应关系问题，这种对应由摄像机成像集合模型决定，确定这种对应关系的过程就是摄像机的标定。
2.2目标识别
本文采用Camshift方法对柔性织物进行识别和定位。Camshift提取目标的颜色特征而不受目标形状的约束，被广泛用于目标跟踪[9]，分为背投（Back Projection）计算、均值漂移（Mean Shift）[12]和camshift算法三步骤。
Back Projection利用模板的颜色空间分布，改变源图像的像素值，进而突出源图像中与模板类似的图像特征，利用backproject的结果可用于对目标织物的分割检测。由于RGB颜色空间对光照的亮度变化比较敏感，需要将RGB图像转换到HSV色彩空间中，然后对其中的H分量作直方图，在直方图中代表了不同H分量值的概率或者像素个数，即得到了颜色概率查找表。将织物图像中每个像素的值用其颜色出现的概率替换，就得到了颜色概率分布图。
MeanShift通过迭代寻优找到概率分布的极值来定位目标。从每个像素开始，首先估计有相似颜色的邻近像素点的密度（局部密度）的梯度，而后利用迭代算法求出局部密度的峰值（即重心点），把能够聚类到同一个峰值点的所有像素点划分成一个区域。
将meanshift算法扩展到连续图像，就形成了Cameshift算法。将机器人视场内获取的视频的所有帧做meanshift运算，并将上一帧的结果（即搜索窗口的大小和中心），作为下一帧meanshift算法的搜索窗的初始值，就可以对织物进行实时的定位。
该方法的具体计算步骤如下[10]：
1）讀入图像，将RGB色彩空间的值转化到HSV空间，计算出H分量的特征直方图。
2）根据获得的特征直方图将最初获得的RGB图像转化成色彩概率分布图像。
3）初始化搜索窗口的大小和位置（[xc，yc]）。计算此时的搜索窗口内质心位置。假设（[xc，yc]）为搜索窗口中像素的位置，[I]（[xc，yc]）为投影图中（[x，y]）处的像素值，定义搜索窗口的零阶矩[M00]和一阶矩[M01]和[M10]分别如下：
3 抓取实验
织物质心位置就是机器人末端执行器要到达的位置。根据机器人运动学逆解分析，获得机器人四个轴运动控制指令，驱动机器人末端执行器工作，具体实验系统如图6所示。
该试验系统由中国深圳固高公司基于DSP开发的可以对电机进行精确位置伺服控制的GBR-400-SR多轴运动控制器、MinasA4交流伺服电机和驱动器等组成。其功能主要是接收计算机控制命令，并实践对四个轴的伺服控制和手抓的开关量控制。实验实施过程中，首先利用CamShift算法得到目标织物质心的三维坐标，根据机器人逆运动学求解出机器人四个轴的平移旋转量，最后根据图像信息，调整机器人末端的姿态和位置，实现精确抓取，通过实验验证了该方法的可行性。 3.1 实验结果
本文对各种颜色的纯色毛巾进行了实验，机器人能够识别绿色、红色、紫色、黄色等等颜色的织物。图7所示为紫色织物处理结果，检测抓取点坐标为（-0.587，-0.260，0.642），经测量目标抓取点的实际坐标为（-0.592，-0.254，0.649），通过双目摄像头进行目标检测的误差在1cm内。
4 结论
在本系统中，以双CCD摄像头作为视觉传感器，通过将视觉定位技术应用于织物抓取机器人，代替了人工劳动力提高了生产效率，提高了机器人的智能化水平和工作灵活性，利于扩大其在工业生产中的应用范围。实现了对目标物体的快速自主抓取，初步的研究结果表明，应用上述技术和方法能够较精确地实现机器人对目标物体的抓取和定位，对多目标的识别和选择性抓取及提高系统的快速性还有待进一步研究。
参考文献：
[1] 方勇纯.机器人视觉伺服研究综述[J].智能系统学报，2008，3（2）：109-114.
[2]王麟琨，徐德，谭民.机器人视觉伺服研究进展[J].机器人，2004，26（3）：277-282.
[3]GANGANATH N，LEUNG H. Mobile robot localization using odometry and Kinect sensor[C]//2010 IEEE International Conference on Emerging Signal Processing Applications （ESPA）. NJ， USA， 2010： 91-94.
[4] 庄佳园，徐玉如，万磊，等.基于雷达图像的水面无人艇目标检测技术[J].哈尔滨工程大学学报，2012，33（2）：129-135.
[5] Ravari A R N，Taghirad H D，Tamjidi A H.Vision-based Fuzzy Navigation of Mobile Robots in Grassland Environments[C]//Proc. Of Interational Conference on Advanced Intelligent Mechatronics.[S. I.]： IEEE/ASME Press，2009
[6] ZHANG Zhengyou. Flexible camera calibration viewing a plane from unknown orientations[C]//Proc International Conference on Computer Vision （ICCV’99）. Corfu， Greece， 1999，1： 666-673.
[7] 高文娟，李健.基于OpenCV 的摄像机标定问题研究[J].计算机与数字工程，2008，36（12）：128-130.
[8] 刘睿祯，于仕琪.OpenCV教程[M].北京：北京航空航天大学出版社，2009：394-400.
[9] 侯志强，韩崇昭.视觉跟踪技术综述[J].自动化学报，2006，32（4）：603-617.
[10] 鄔大鹏，程卫平，于盛林.基于帧间差分和运动估计的CamShift目标跟踪算法[J].光电工程，2010，37（1）：55-60.
关键词：双目视觉机器人；织物
中图分类号：TP391 文献标志码：A 文章编号：1009-3044（2017）05-0132-03
随着机器人技术的迅猛发展，各种各样的机器人已经非常广泛地应用于工业、医疗、农业、教育以及人们日常生活等众多领域。目前在纺织行业中，传统织物生产后的整理工作仍然是依靠人工进行，一方面跟不上纺织业智能化发展的要求，另一方面其生产效率也不高，同时，生产车间的高温、湿气等因素也容易对人体健康产生不良影响。将机器人应用到织物整理中来将成为今后的发展趋势。而且目前的机器视觉理论[1-2]技术发展已经很成熟，将机器人和机器视觉结合起来应用于纺织业不仅能够提高纺织业生产效率，扩大利润，也能够减少环境对工人产生的不良影响。对于目标物体的三维信息获取的方法主要有双目视觉、单目视觉等方法，被国内外研究者应用到机器人的导航与定位[3]、目标的跟踪[4]、障碍物的检测[5]等方面，由于单目视觉的测量速度比较慢，相比较于双目视觉精度也较差，因此本系统采用的是双目视觉伺服系统以GBR-400四自由度机器人为研究对象，通过两个CCD摄像头来确定目标织物的位置与深度信息，实验证明该方法可以精确实现对不同形状织物的定位和抓取。
1 机器人织物抓取系统组成
实验室内视觉机器人织物抓取系统如图1所示，主要包括下面几个部分：GBR-400四自由度工业机器人，两个CCD摄像头，计算机，图像采集卡，GBR -400-SR运动控制卡、松下MinasA4 AC伺服驱动器和电机、织物传送带。计算机是系统的核心，承担着图像处理、操作界面的显示和控制以及系统各部分的通讯等重要任务；织物放置在传送带上，传送带织物传送一定位置并停止，因为织物在传送带上放置位置的随意性以及形状的不规则性，双CCD摄像头安装在传送带正上方以获得织物图像信息。
首先使用两个CCD摄像机对目标织物进行图像采集并将采集到的图像存入计算机内存，然后对采集的图像进行预处理，接下来就需要进行图像分割以及对织物的定位，最后根据图像坐标系与机器人坐标系的转换关系通过机器人轨迹规划来实现对目标织物的抓取，具体系统工作流程如图2所示。
2基于双目视觉的织物识别
2.1 摄像头标定
机器视觉的中心任务是利用计算机实现对景物的描述和识别，所谓描述是指由三维信息生产二维图像的过程，而识别则是二维图像的三维恢复，无论哪种任务，首先必须解决的都是三维物点与二维像点的对应关系问题，这种对应关系必须解决的都是三维物点与二维像点的对应关系问题，这种对应由摄像机成像集合模型决定，确定这种对应关系的过程就是摄像机的标定。
2.2目标识别
本文采用Camshift方法对柔性织物进行识别和定位。Camshift提取目标的颜色特征而不受目标形状的约束，被广泛用于目标跟踪[9]，分为背投（Back Projection）计算、均值漂移（Mean Shift）[12]和camshift算法三步骤。
Back Projection利用模板的颜色空间分布，改变源图像的像素值，进而突出源图像中与模板类似的图像特征，利用backproject的结果可用于对目标织物的分割检测。由于RGB颜色空间对光照的亮度变化比较敏感，需要将RGB图像转换到HSV色彩空间中，然后对其中的H分量作直方图，在直方图中代表了不同H分量值的概率或者像素个数，即得到了颜色概率查找表。将织物图像中每个像素的值用其颜色出现的概率替换，就得到了颜色概率分布图。
MeanShift通过迭代寻优找到概率分布的极值来定位目标。从每个像素开始，首先估计有相似颜色的邻近像素点的密度（局部密度）的梯度，而后利用迭代算法求出局部密度的峰值（即重心点），把能够聚类到同一个峰值点的所有像素点划分成一个区域。
将meanshift算法扩展到连续图像，就形成了Cameshift算法。将机器人视场内获取的视频的所有帧做meanshift运算，并将上一帧的结果（即搜索窗口的大小和中心），作为下一帧meanshift算法的搜索窗的初始值，就可以对织物进行实时的定位。
该方法的具体计算步骤如下[10]：
1）讀入图像，将RGB色彩空间的值转化到HSV空间，计算出H分量的特征直方图。
2）根据获得的特征直方图将最初获得的RGB图像转化成色彩概率分布图像。
3）初始化搜索窗口的大小和位置（[xc，yc]）。计算此时的搜索窗口内质心位置。假设（[xc，yc]）为搜索窗口中像素的位置，[I]（[xc，yc]）为投影图中（[x，y]）处的像素值，定义搜索窗口的零阶矩[M00]和一阶矩[M01]和[M10]分别如下：
3 抓取实验
织物质心位置就是机器人末端执行器要到达的位置。根据机器人运动学逆解分析，获得机器人四个轴运动控制指令，驱动机器人末端执行器工作，具体实验系统如图6所示。
该试验系统由中国深圳固高公司基于DSP开发的可以对电机进行精确位置伺服控制的GBR-400-SR多轴运动控制器、MinasA4交流伺服电机和驱动器等组成。其功能主要是接收计算机控制命令，并实践对四个轴的伺服控制和手抓的开关量控制。实验实施过程中，首先利用CamShift算法得到目标织物质心的三维坐标，根据机器人逆运动学求解出机器人四个轴的平移旋转量，最后根据图像信息，调整机器人末端的姿态和位置，实现精确抓取，通过实验验证了该方法的可行性。 3.1 实验结果
本文对各种颜色的纯色毛巾进行了实验，机器人能够识别绿色、红色、紫色、黄色等等颜色的织物。图7所示为紫色织物处理结果，检测抓取点坐标为（-0.587，-0.260，0.642），经测量目标抓取点的实际坐标为（-0.592，-0.254，0.649），通过双目摄像头进行目标检测的误差在1cm内。
4 结论
在本系统中，以双CCD摄像头作为视觉传感器，通过将视觉定位技术应用于织物抓取机器人，代替了人工劳动力提高了生产效率，提高了机器人的智能化水平和工作灵活性，利于扩大其在工业生产中的应用范围。实现了对目标物体的快速自主抓取，初步的研究结果表明，应用上述技术和方法能够较精确地实现机器人对目标物体的抓取和定位，对多目标的识别和选择性抓取及提高系统的快速性还有待进一步研究。
参考文献：
[1] 方勇纯.机器人视觉伺服研究综述[J].智能系统学报，2008，3（2）：109-114.
[2]王麟琨，徐德，谭民.机器人视觉伺服研究进展[J].机器人，2004，26（3）：277-282.
[3]GANGANATH N，LEUNG H. Mobile robot localization using odometry and Kinect sensor[C]//2010 IEEE International Conference on Emerging Signal Processing Applications （ESPA）. NJ， USA， 2010： 91-94.
[4] 庄佳园，徐玉如，万磊，等.基于雷达图像的水面无人艇目标检测技术[J].哈尔滨工程大学学报，2012，33（2）：129-135.
[5] Ravari A R N，Taghirad H D，Tamjidi A H.Vision-based Fuzzy Navigation of Mobile Robots in Grassland Environments[C]//Proc. Of Interational Conference on Advanced Intelligent Mechatronics.[S. I.]： IEEE/ASME Press，2009
[6] ZHANG Zhengyou. Flexible camera calibration viewing a plane from unknown orientations[C]//Proc International Conference on Computer Vision （ICCV’99）. Corfu， Greece， 1999，1： 666-673.
[7] 高文娟，李健.基于OpenCV 的摄像机标定问题研究[J].计算机与数字工程，2008，36（12）：128-130.
[8] 刘睿祯，于仕琪.OpenCV教程[M].北京：北京航空航天大学出版社，2009：394-400.
[9] 侯志强，韩崇昭.视觉跟踪技术综述[J].自动化学报，2006，32（4）：603-617.
[10] 鄔大鹏，程卫平，于盛林.基于帧间差分和运动估计的CamShift目标跟踪算法[J].光电工程，2010，37（1）：55-60.