论文部分内容阅读
基于深度学习的视觉技术被广泛用于物流场景中货物的识别和检测等任务,该技术需要大批高质量的标注数据集才能实现良好的性能。当前,由于纸箱具有结构性能好、成本低的特点成为了物流行业中的主要货物,而纸箱数据集构建存在数据清洗难、图像标注耗时长、已构建的纸箱数据集与任务场景数据分布之间存在差异性(域偏置)导致纸箱检测模型性能下降等问题。因此,本文针对纸箱检测任务中面临的问题重点研究目标域纸箱数据集的自动合成算法降低数据集构建难度和域自适应纸箱检测模型减少域偏置的影响,其主要研究内容及成果如下:1)针对纸箱货物在不同场景中具有相似的码垛结构等共性特征,本文提出了纸箱纹理解耦算法,提取纸箱不同面的轮廓组合信息和码垛结构信息,使纸箱实例成像时的截断、遮挡、尺度变换、视角变换等信息得到保存,并构建了纸箱轮廓骨架数据集,为纸箱图像数据自动合成算法研究奠定了基础。2)基于纸箱成像时大多数完整轮廓为平行四边形或者梯形的特点,提出了纸箱实例不完整轮廓重构算法,构造一个面积最小的外包络平行四边形替换不完整纸箱轮廓。该算法使合成后的纸箱实例在背景中的遮挡和截断等上下文语义关系更真实。3)提出了纹理解耦组合的纸箱数据自动合成算法用于纸箱检测模型的训练。通过将轮廓骨架数据集中的纸箱图案、颜色等纹理替换为目标域的纸箱纹理,实现目标域纸箱图像的合成,缓解了域偏置,同时缩短了纸箱检测系统的部署时间。4)针对当前域自适应理论忽略了多类特征共存、导致纸箱检测模型检测精度难以提升的现状,本文提出了混合类特征分布度量理论,即当特征感受野内同时存在多个类别目标时,则可视为混合类参与特征分布距离的计算。5)基于混合类特征分布度量理论提出了语义一致性域自适应检测模型,该模型通过语义预测网络和语义桥接组件实现单类和混合类特征的语义可分性,并利用语义注意力域损失缓解正负样本不平衡问题。实验结果表明,该模型能够提高检测模型对域偏置的适应性,提升纸箱检测系统在任务场景中的检测精度。6)对本文提出的纸箱数据集自动合成算法和域自适应纸箱检测模型进行了实验测试,结果表明纸箱数据集自动合成算法能有效降低纸箱检测系统的域偏置影响,实现了单阶段模型的检测精度mAP 4.3%~7.5%和双阶段模型mAP 3.4%~9.3%的提升;同时在纸箱数据集和公共数据集上的实验验证了语义一致性域自适应检测模型能有效地提高检测模型对域偏置的适应性,在纸箱数据集中实现mAP6.7~7.7%的提升。上述纸箱合成算法和模型在智能装车卸车移动机器人纸箱检测任务中得到了应用验证,实现了纸箱检测系统的抓取检测定位精度8%~9.4%的提升。