从螺纹紧固件的商业化开始至如今愈发成熟的工业化环境下,再庞大、精密的硬件设备也需要依靠微小、简易的螺钉作为基石和纽带。为提高螺钉涂胶工作的完成质量以及减少其人力成本,构建相关控制系统以自动高效地区分螺钉涂胶与否十分必要。同时对目标螺钉进行初步定位与增强现实以按定位高亮选定并操控相关三维模型,可便于进行后续相关视觉工作的同时增添了系统的操作性与创新性。本文即通过相关设备,运用深度学习、计算机视觉、图像处理等技术构建了一个主要包括对螺钉的分类和目标检测的实现和对在此基础上的增强现实工作的研究两部分的关于螺钉的分类、定位与增强现实系统。其中系统分类和目标检测部分的核心为通过关于VGG16和YoloV5的神经网络训练实现,增强现实部分则依靠HoloLens、Unity3D等软硬件开展相关研究。本文采用VGG16神经网络作为图像分类网络进行深度学习。首先剖析网络各部分组成结构及工作原理,再进行如搭建深度学习环境、制作数据集等训练前准备工作。其次冻结网络卷积层部分进行训练。训练后得到了对本次深度学习的准确率约为0.99的分类评价指标,以及对通过最后一次训练的网络进行预测的数据取得了较良好的预测结果。最后通过网络可视化进行总结评价。实验认为网络对目标螺钉的分类工作较为有效,但网络只能对单个类别的数据进行预测,存在一定的局限性。本文采用YoloV5神经网络作为目标检测网络进行深度学习,实现了二维定位的同时也可为后续增强现实研究工作中的三维定位开展铺垫。同样首先剖析网络各部分组成结构与工作原理并进行如搭建深度学习环境、制作数据集等训练前准备工作。其次在网络初次训练完成后对置信度阈值进行改良以提升分类性能,并得到mAP值为0.833,准确率为0.81,平均F1值为0.85的分类评价指标。之后通过训练所得的最优权重网络进行预测,对在预测阶段大部分包含结构清晰的螺钉数据取得了较良好的预测效果。最后通过网络可视化进行总结评价。实验认为在分类方面网络对课题数据集中的“未涂胶”类别数据的分类质量整体优于“已涂胶”类别数据,并且在目标检测方面完成度较高,在实际应用过程中具有较强的可行性。本文对关于加载螺钉三维模型至现实世界,再通过交互操控相关模型并放置至定位处的增强现实工作开展相关研究,实现了螺钉的三维定位与增强现实的同时为系统增添了操作性。通过3ds Max对螺钉进行三维建模并控制加载,通过HoloLens红外深度摄像机实现激光测距,再通过Unity 3D创建识别器对HoloLens的交互功能进行设置将模型移动至定位处。最后通过组建TCP/IP通信架构将课题的数据采集与数据处理步骤,以及增强现实与神经网络部分相结合。