论文部分内容阅读
随着制造业个性化需求的增加,大规模定制化生产应运而生,大规模定制化生产模式需要经常根据个性化需求重组装配线,而装配工人受知识和能力所限,难以适应这种多变的生产模式,经常会产生遗漏关键装配工序、错误使用装配工具及装配操作不达标等问题。对于装配监测,以往将研究重点放在了产品质量监测上,不能及时避免装配过程中的工人操作错误,从而导致产品合格率降低、生产成本增加以及生产周期变长,难以满足当今装配制造业的发展需求。针对这些问题,本文研究了基于深度学习的动作识别技术、目标检测技术、姿态估计技术,从装配动作监测、装配工具监测、装配动作重复次数判断三个层次实现装配操作监测,具体研究内容如下:(1)研究了基于动作识别技术的装配动作监测方法,提出了一种引入批量归一化层的新型三维卷积神经网络模型。首先建立了包含9类装配动作的307段视频样本,并对所有视频帧进行图像处理,形成RGB、灰度图、二值图、深度图四种模式的装配动作数据集;然后建立了引入批量归一化层的新型三维卷积神经网络,分别在四种模式的数据集上进行训练及测试,并对结果进行对比分析。实验证明,本文建立的新型三维卷积神经网络模型大幅提升了训练时模型收敛速度,识别准确率达81.89%,实现了对装配动作的监测。(2)研究了基于YOLOv3目标检测算法的装配工具监测方法。首先,建立了包含工具信息的装配动作数据集,利用相应标记工具对数据集中每张图像进行标记,将标记的工具类别及坐标位置信息作为训练标签;然后,利用YOLOv3目标检测算法在自建数据集上进行训练和测试,并将结果与R-CNN、Fast R-CNN、Faster-RCNN进行对比分析。实验证明,YOLOv3目标检测算法的检测精确率为92.5%,检测速度为32fps,实现了对装配工具使用情况的监测。(3)研究了基于Open Pose姿态估计算法的装配动作重复次数判断方法,提出以目标检测算法代替常规的动作识别算法判断动作类别及发生时间点,并结合姿态估计获取的关节点坐标信息,实现装配动作重复次数判断的新方法。首先选取了锤、锉、拧螺母三类具有代表性的装配动作,每种动作都由十位实验人员录制,共得到30个视频样本;然后利用YOLOv3目标检测算法代替动作识别算法检测装配动作的类别及发生时间点;随后利用Open Pose进行姿态估计,获得关节点坐标,对坐标数据进行数据清洗与分析,根据数据分析结果判断装配动作重复次数。结果表明利用本文提出的方法监测装配操作完成情况简单可行。