论文部分内容阅读
图像拼接技术集机器视觉、图像图形学和数字图像处理等交叉技术于一身。近年来,它已成为图像处理技术的研究重点,并在制药、食品安全和卫星航拍等众多领域发挥着关键作用,包括小场景下产品标签的全景拼接、大场景下的图像融合等。但图像拼接过程中主要有以下两方面问题:一是利用工业相机获取的小场景下柱面标签在投影成像过程中图像质量不高、不够稳定,导致周标质检困难、误检率高;二是通过传统方法严重依赖特征点检测,要求场景特征在图像中密集且分布均匀,导致重影效果参差不齐,鲁棒性较差,而学习方法通常存在训练数据集较少,且拼接时出现伪影无法解决。针对上述问题,本论文基于插值方法,运用深度网络学习技术,围绕圆柱周标拼接方法进行研究,该课题研究具有很好的实际应用价值。本硕士论文主要开展了的工作有:第一,基于四目视觉不均匀插值的图像拼接方法研究。为了针对圆柱产品周标质检困难、误检率高等问题,提出一种基于四目视觉的圆柱周标稳定高质量拼接新方案。首先,为获取圆柱体真实位姿,给出了一种基于四准中心轴线的两层融合方法;然后,提出了一种r相关不均匀双线性插值的新颖策略实现了对柱面标签图像高质量展开;在此基础上,通过NCC算法对柱面标签展开图中相邻两幅图片进行特征匹配,并利用加权融合算法进行图像融合,完成图像拼接。第二,基于深度学习的图像拼接研究。针对传统图像拼接时对齐问题的局限性,以及拼接时拼接图的伪影问题。创建Quadocular Stitched数据集用于深度学习图像拼接,提出了深度单应性矩阵图像对齐网络HomographyNet和深度图像拼接网络Content-EdgeNet。首先由Quadocular Stitched数据集创建网络的输入,再通过回归网络,并引入了张量直接线性变换层和空间变换层,获取单应性矩阵,实现图像间的对齐。后者采用了图像内容重建与边缘优化网络结构,通过拼接图像边缘到内容以此来消除图像的伪影,实现深度学习稳定高质量图像拼接。实验结果表明,我们提出的方法比传统图像拼接效果更好,解决了图像拼接时伪影现象,同时较现有深度单应性图像对齐和深度图像拼接质量更好,鲁棒性更强。第三、基于四目视觉与深度学习的圆柱周标实时稳定图像拼接系统。本系统主要基于四目视觉实验平台,以及QT和HALCON的联合开发编程实现。通过四目视觉实验平台进行四目标定与标签图像的采集,并设计分为图像采集模块、图像处理模块和结果显示模块共三个模块,再通过模板匹配、不均匀插值算法进行图像处理,最后利用深度学习图像拼接算法完成结果的输出。经实验验证,该系统具有较好的实用价值,不仅可以对不同方向的各种标签进行实时高速有效的处理,而且算法的精度高和拼接速度快,实时拼接时间小于400ms,满足工业生产对圆柱周标的准确性和稳定性检测要求。