论文部分内容阅读
摘要：本文主要讨论的是将计算机视觉应用于智能生产，通过计算机视觉分析操作工的取件次序，從而客观评估工人的取正度。本文通过改进工具桌，通过摄像头获取桌面的图像，将该图像交给图像识别算法识别工具的取放次序，最终统计操作人员的正误率客观评价取正度。
关键字：图像识别；取正度；智能算法
工业领域一般都会提前设计工艺流程，要求操作人员按一定的工艺流程完成制造过程，而往往制造过程还会涉及使用特定的工具，而这些工具的使用次序及流程也有严格的操作规程定义。目前，对于工具的使用次序及流程都是通过人工监督和指导，由于管理成本限制鲜有统计其取正度的做法。显然，需要一种方法可以辅助指导操作人员。
首先，为了便于操作人员识别，会给操作工具涂上色彩差异较大的颜色。对于程序算法则可以通过像素灰度来识别工具。其次，为了辅助操作人员取放工具到正确的位置，桌面上都会用红色分隔线绘制矩形区域。据此，可以通过区分两个工具之间的分隔线识别图像边缘，算法可以根据桌面上绘制的矩形区域计算出图像上的矩形区域。结合上述两点，程序就可以识别在图像的对应矩形区域里放置的工具是什么。算法分为如下主体部分：
1 计算工具摆放区域
由于桌面上涂上了红色分隔线，图像识别算法会先将空的桌面识别一次，找到图像上所有的红色分隔线的边缘，每个白色的区域都被红色的分隔线分隔，则每个全白的区域即为工具放置区。算法会首先将桌面的左下角定义为坐标原点，每个像素会在坐标中有个对应的坐标取值，每个白色区域都是一个矩形区域，则可以通过存储矩形区域的左下角和右上角坐标表示一个矩形。
由于每个白色的区域都被红色的分隔线分隔，那么边缘检测算法会首先对图像的像素扫描，若该像素是白色的，且其上下左右四个方向中只要有一个是红色的则说明是白色区域的边缘像素，检测只要满足公式（1）即可。
G（x，y）是一个越阶函数，表示只要颜色属于白色范围就返回1，否则返回0。
F（x，y）是一个越阶函数，表示其上下左右四个方向中只要有一个是红色1，否则返回0。
其中f（x，y）返回坐标上的像素的颜色值。White和Red是表示白色和红色区间，使用区间是为了防止拍摄效果导致色彩损失。
通过对整个画面的像素扫描会获得所有满足公式（1）的像素集合V，V中的像素用其在图像中的坐标描述。由于工具桌上红色的分隔线分隔出的区域是行列形式的，若要获得矩形区域的左下角和右上角坐标来表示一个矩形，可以采用下述算法。
（1）对V中元素，按y坐标分组，如果分组中的元素个数大于1则表示一行；
（2）对每行元素的x坐标排序，相邻x坐标距离差大于1则是两个矩形区域的分隔；
（3）由于所得行比为偶数，每两行表示一个矩形的上下边，则下边最小的x坐标即为左下角像素坐标，上边最大的x坐标即为右上角像素坐标。
（4）找到了所有的矩形区域。
2 识别工具
由于工艺流程要求，每种工具的形状大小均不相同，加之事先工具的颜色均存在一定的色彩差异。通过上述可知，如果将原始图像以255种灰度映射，则一方面工具之间的色彩灰度存在差异，另一方面工具大小不同则工具灰度像素与其摆放区域桌面底色的像素比率也存在差异，则这两种特征可以构成识别一个工具的唯一特征。
描述这一特征，可以对一个矩形图像扫描将像素映射到[0，255]的灰色区间0为最黑，255为白。由于事先会给操作工具涂上色彩差异较大的颜色，而桌面底色为白色，则可以自然形成两个分类，即一类灰度偏向于0，另一类偏向于255，分别对两类像素灰度排序可以得到两个向量T和U，向量T表示桌面灰度向量，向量U表示工具灰度向量。若|T|>|U|，则向U中补充0值；若|U|>|T|，则向T中补充255值；最后两个向量元素个数相同，可以通过欧式距离计算。通过下述公式定义：
（4）
其中，ti和ui分别表示T和U中的元素i是从1到n的元素索引，n是向量元素的个数，公式（4）的值就是所求特征值。
3 特征匹配
根据上述唯一特征可知，当图像中的工具摆放区域摆放上一个工具，就可以根据这个工具的特征匹配上一个程序中已知的工具。在实际中可能存在工具使用过程中掉色，工具磨损等问题。那么可以通过计算图像中的特征与程序库中的特征最近似的进行匹配，由于公式（4）采用了欧氏距离判别两个特征向量间的近似程度，因此可以很好的解决这一问题。
综上所述，采用这种方式的灰度匹配可以极大的加快识别工具的算法效率，可以达到快速判别工具取正度的效果。接下来，就要计算操作流程中的正取度等信息了。
摄像头会连续的拍摄桌面的图像，初始情况桌面上按工序要求的在矩形区域内摆放了相应的工具，程序就生成一个初始关键帧。每次拍摄到的图像会和关键帧比对，当拍摄到的图像为工具被取走的情况，即矩形区域内的像素灰度与桌面底色灰度一致，则说明工具被取走。就记录这个图像生成取件关键帧，然后分析这个关键帧里的哪些矩形区域的像素灰度与桌面底色灰度一致，就说明哪些工具被取走了，然后对比该工序要求取走的工具是否与本次取走的工具是否相同，或有哪些不同，并记录本次取件事件。
后续图像再和取件关键帧对比，直到发现有工具被放回的情况，即矩形区域内的像素灰度发生改变，不再与桌面底色灰度一致，而是其它灰度。此时，需要对比该灰度是否和工序要求放回的工具的像素灰度一致，如果一致说明放回正确，否则错误并提示工人要求其放置正确。程序会记录本次放回事件，并生成放回关键帧。
后续图像再与放回关键帧比对，只到生成取件关键帧；依次交替进行，只到全部工序完成。最终，程序会记录所有的工序取件和放回过程，并分析取件的执行结果，取正率、取错率、在那个工序出错等信息，最终给出评价。
参考文献：
[1]许光明，吴昭，周春兰，沈军民.基于视觉的零件尺寸测量[J].工业控制计算机.2015（04）：111-113.
[2]吕且妮，陈婷婷，吕通，王祥，张宇佳.双光束照明的干涉粒子成像粒子尺寸测量[J].中国激光.2015（12）：229-234.
作者简介：
李力广（1981-11-21）、男、汉、福建、硕士、中国外运天津有限公司、软件应用与开发高级经理、主要从事物流行业软件开发及应用工作
关键字：图像识别；取正度；智能算法
工业领域一般都会提前设计工艺流程，要求操作人员按一定的工艺流程完成制造过程，而往往制造过程还会涉及使用特定的工具，而这些工具的使用次序及流程也有严格的操作规程定义。目前，对于工具的使用次序及流程都是通过人工监督和指导，由于管理成本限制鲜有统计其取正度的做法。显然，需要一种方法可以辅助指导操作人员。
首先，为了便于操作人员识别，会给操作工具涂上色彩差异较大的颜色。对于程序算法则可以通过像素灰度来识别工具。其次，为了辅助操作人员取放工具到正确的位置，桌面上都会用红色分隔线绘制矩形区域。据此，可以通过区分两个工具之间的分隔线识别图像边缘，算法可以根据桌面上绘制的矩形区域计算出图像上的矩形区域。结合上述两点，程序就可以识别在图像的对应矩形区域里放置的工具是什么。算法分为如下主体部分：
1 计算工具摆放区域
由于桌面上涂上了红色分隔线，图像识别算法会先将空的桌面识别一次，找到图像上所有的红色分隔线的边缘，每个白色的区域都被红色的分隔线分隔，则每个全白的区域即为工具放置区。算法会首先将桌面的左下角定义为坐标原点，每个像素会在坐标中有个对应的
由于每个白色的区域都被红色的分隔线分隔，那么边缘检测算法会首先对图像的像素扫描，若该像素是白色的，且其上下左右四个方向中只要有一个是红色的则说明是白色区域的边缘像素，检测只要满足公式（1）即可。
G（x，y）是一个越阶函数，表示只要颜色属于白色范围就返回1，否则返回0。
F（x，y）是一个越阶函数，表示其上下左右四个方向中只要有一个是红色1，否则返回0。
其中f（x，y）返回
通过对整个画面的像素扫描会获得所有满足公式（1）的像素集合V，V中的像素用其在图像中的
（1）对V中元素，按y坐标分组，如果分组中的元素个数大于1则表示一行；
（2）对每行元素的x坐标排序，相邻x坐标距离差大于1则是两个矩形区域的分隔；
（3）由于所得行比为偶数，每两行表示一个矩形的上下边，则下边最小的x坐标即为左下角像素坐标，上边最大的x坐标即为右上角像素坐标。
（4）找到了所有的矩形区域。
2 识别工具
由于工艺流程要求，每种工具的形状大小均不相同，加之事先工具的颜色均存在一定的色彩差异。通过上述可知，如果将原始图像以255种灰度映射，则一方面工具之间的色彩灰度存在差异，另一方面工具大小不同则工具灰度像素与其摆放区域桌面底色的像素比率也存在差异，则这两种特征可以构成识别一个工具的唯一特征。
描述这一特征，可以对一个矩形图像扫描将像素映射到[0，255]的灰色区间0为最黑，255为白。由于事先会给操作工具涂上色彩差异较大的颜色，而桌面底色为白色，则可以自然形成两个分类，即一类灰度偏向于0，另一类偏向于255，分别对两类像素灰度排序可以得到两个向量T和U，向量T表示桌面灰度向量，向量U表示工具灰度向量。若|T|>|U|，则向U中补充0值；若|U|>|T|，则向T中补充255值；最后两个向量元素个数相同，可以通过欧式距离计算。通过下述公式定义：
（4）
其中，ti和ui分别表示T和U中的元素i是从1到n的元素索引，n是向量元素的个数，公式（4）的值就是所求特征值。
3 特征匹配
根据上述唯一特征可知，当图像中的工具摆放区域摆放上一个工具，就可以根据这个工具的特征匹配上一个程序中已知的工具。在实际中可能存在工具使用过程中掉色，工具磨损等问题。那么可以通过计算图像中的特征与程序库中的特征最近似的进行匹配，由于公式（4）采用了欧氏距离判别两个特征向量间的近似程度，因此可以很好的解决这一问题。
综上所述，采用这种方式的灰度匹配可以极大的加快识别工具的算法效率，可以达到快速判别工具取正度的效果。接下来，就要计算操作流程中的正取度等信息了。
摄像头会连续的拍摄桌面的图像，初始情况桌面上按工序要求的在矩形区域内摆放了相应的工具，程序就生成一个初始关键帧。每次拍摄到的图像会和关键帧比对，当拍摄到的图像为工具被取走的情况，即矩形区域内的像素灰度与桌面底色灰度一致，则说明工具被取走。就记录这个图像生成取件关键帧，然后分析这个关键帧里的哪些矩形区域的像素灰度与桌面底色灰度一致，就说明哪些工具被取走了，然后对比该工序要求取走的工具是否与本次取走的工具是否相同，或有哪些不同，并记录本次取件事件。
后续图像再和取件关键帧对比，直到发现有工具被放回的情况，即矩形区域内的像素灰度发生改变，不再与桌面底色灰度一致，而是其它灰度。此时，需要对比该灰度是否和工序要求放回的工具的像素灰度一致，如果一致说明放回正确，否则错误并提示工人要求其放置正确。程序会记录本次放回事件，并生成放回关键帧。
后续图像再与放回关键帧比对，只到生成取件关键帧；依次交替进行，只到全部工序完成。最终，程序会记录所有的工序取件和放回过程，并分析取件的执行结果，取正率、取错率、在那个工序出错等信息，最终给出评价。
参考文献：
[1]许光明，吴昭，周春兰，沈军民.基于视觉的零件尺寸测量[J].工业控制计算机.2015（04）：111-113.
[2]吕且妮，陈婷婷，吕通，王祥，张宇佳.双光束照明的干涉粒子成像粒子尺寸测量[J].中国激光.2015（12）：229-234.
作者简介：
李力广（1981-11-21）、男、汉、福建、硕士、中国外运天津有限公司、软件应用与开发高级经理、主要从事物流行业软件开发及应用工作