论文部分内容阅读
工作流识别技术可对生产车间内的监控视频进行计算与处理,实现对生产制造流程的快速精确的识别与检测,从而可帮助企业来规范制造工序、优化过程调度。与现有的工作流技术不同,工作流识别技术在很大程度上依赖于现有的计算机视觉技术,首先通过计算机视觉技术挖掘出视频中的潜在任务序列,随后通过建模或比对的方式重构出相应的工作流。然而,由于实际生产环境较为复杂(频繁的光线变化、物体之间彼此遮挡等问题),传统的依赖于目标物体检测与跟踪的动作识别方法无法达到有效的识别率,很难适用于复杂的生产制造环境。为了实现有效的工作流识别,本文将讨论通过机器学习、生物算法等思想,提出了两种新颖的算法框架:(1)基于3D-CNN(三维卷积神经网络)的工作流识别方法。为了提取视频中的时空兴趣点,即运动目标,我们应用一种自适应阈值的三帧差分法分割出运动区域,从而降低后续模型训练的复杂度。随后,为了对工厂环境的工作流任务进行精确分类,我们利用一种三维卷积神经网络,并结合多视图信息,训练一个具有较强鲁棒性的动作分类器。该方法的优点是使用多视图融合的方式极大地降低了物体遮挡、光线变化等因素对最终识别结果的影响,同时,神经网络模型无需对输入流进行复杂的特征提取,提高了识别效率。(2)基于GA-3D-CNNs(遗传算法-三维卷积神经网络)的自动化工作流识别方法。为了对工厂环境的工作流序列进行有效识别,首先我们利用一种基于状态的视频流切分方法将输入流自动切分成单个任务,进而使用训练好的三维卷积神经网络模型对切分结果进行分类。随后,使用带有先验知识的遗传算法组合出所有可能的工作流序列,并将上述分类结果输入到预先定义好的目标函数中计算出最终的工作流识别结果。该框架的优点是使用全局范围的工作流序列识别,一定程度上降低了分类器误差对最终识别结果的影响,同时也避免了穷举工作流序列带来无谓的性能消耗。文中对这两种框架分别给出了计算模型与相应的算法,并在实际工厂的监控视频数据集上进行了系统的对比实验。通过实验可发现,本文提出的两种方法对于工厂这种复杂环境下工作流的识别表现出较高的识别率和较强的性能。