穿孔等离子弧焊接(keyhole plasma arc welding,K-PAW)工艺能够对中厚板不开坡口、一次焊透,在工业领域具有应用潜力。由于等离子弧作用于熔池形成一个贯穿工件厚度的小孔,小孔的稳定性对工艺参数的变化较为敏感。实时检测穿孔状态是对K-PAW焊接过程有效控制的先决条件。已有小孔状态间接检测方法以及从工件背面对小孔与熔池信息进行视觉检测的方法,均存在各自的缺点。本研究采用视觉传感方法从工件正面拍摄熔池、等离子弧与小孔入口的图像,提取出不同工艺条件下的正面熔池与小孔入口的动态变化信息,基于深度学习算法,从获取的正面熔池图像出发,预测熔池的穿孔状态与熔透情况,为等离子弧焊接穿孔状态的实时预测与控制奠定了基础。构建了 PAW正面熔池视觉检测系统,设计复合滤光系统以克服强弧光等干扰,沿焊接方向拍摄熔池,获取了清晰的熔池尾部图像。对熔池图像特点进行分析,提出了基于多经验参数约束的边缘检测算法;利用熔池图像的曲线特点、经验图像边缘信息、前3幅熔池图像边缘信息、弧光最小外接曲线等多种经验参数对图像边缘进行约束,搜索获得熔池边缘信息。结果表明,该算法与传练的搜索方法相比,具有较强的鲁棒性和适应性。为获取完整的正面熔池图像,从工件的侧面(垂直于焊接方向)对正面熔池进行拍摄,设计特制的减光片对不同的熔池区域进行不同的减光,并采用合适的滤波器解决了强弧光干扰、电弧与熔池辐射强度反差大等问题,分辨出熔池与电弧边界,获得完整的正面熔池图像。开发经验参数约束的Canny算子对熔池边缘进行提取。设定的5个经验参数约束能够有效避免噪声干扰,获得不同工艺条件下熔池的几何尺寸。建立双CCD摄像机同步检测系统,同时拍摄出正面熔池和小孔入口的图像,建立图像配准公式,将不同角度拍摄的图像转换到同一个物理坐标系中,使得熔池图像和小孔入口图像融为一体。通过边缘信息的提取,获得了实际的熔池与小孔入口尺寸。在焊接工艺参数变化时,小孔入口的尺寸变化幅度明显大于正面熔池。基于正面熔池检测与背面小孔检测CCD,构成同步检测系统,获得了对正面熔池与背面小孔出口的清晰图像。设计恒流焊接试验与受控脉冲焊接试验,对不同焊接条件下的电弧、熔池和小孔关系进行分析,发现熔池中包含的特征信息与小孔状态联系密切,在穿孔状态、小孔闭合状态、小孔形成与长大的过程中,熔池中反射电弧表现出不同的形态,可以与熔池特征信息一起作为判断小孔是否穿透的依据。由于正面熔池的特征信息与穿孔/熔透情况之间存在复杂的非线性关系,其关键特征的提取是进行穿孔状态预测的先决条件。采用深度学习卷积神经网络方法,自动提取熔池图像中的特征信息;直接使用熔池图像作为模型的输入,进行充分训练之后进行穿孔状态及熔透的预测。通过工艺实验建立训练数据库,获得约12000幅正面熔池和背面小孔图像的数据对,其中训练数据约10000条,验证数据约1000条,测试数据约1000条。建立包括5层卷积,3层全连接的卷积神经网络模型,对模型参数和分类方法进行微调,利用等离子弧焊接正面熔池和穿孔图像目标训练集和反向传播对其进行继续训练。训练后的模型可以自动获取到良好的特征,从而进行正确的分类识别。测试结果表明,穿孔/熔透状态的识别准确率达90%以上。