论文部分内容阅读
无人超市消费便利、方便高效,逐渐成为一种新兴的购物方式。与传统超市的自助扫码结算方式不同,无人超市的结算过程发生在购物动作结束的同时,更加快捷。因此,准确检测出无人超市环境下购物过程中的商品信息对于实时掌握商品销售情况、提供更好的客户购物体验等都至关重要。根据普通人的购物习惯,通过对手部所持商品进行检测,即可实现对客户购物情况等信息的获取。本文基于计算机视觉技术和深度学习理论,从多目标商品检测、单目标背景下的手持商品识别和多目标背景下的手持商品检测等方面进行了研究,主要研究内容如下:1.针对目前缺乏多目标背景下的手持商品检测数据集的问题,本文以模拟的无人超市商品货架为背景,10种商品为检测目标,构建了同时包含彩色图像和深度图像的数据集,适用于多目标商品检测和多目标背景下的手持商品检测。2.研究了深度学习目标检测结构Faster R-CNN,构建了多目标商品检测模型。针对Kinect人体关键点检测方法在身体发生遮挡时容易产生骨架错乱的现象,研究了基于CPMs模型的人体关键点检测方法,通过获取图像的纹理信息和关节点置信图的空间信息得到关节点位置,为实现手持商品检测模型提供支持。3.针对单目标背景下的手持商品识别,研究了基于区域增长算法的商品图像分割。分别提取卷积和SIFT特征并进行异构特征融合,提出了一种Bagging-SVM集成分类器解决单个分类器分类结果存在偶然性的问题。实验表明集成分类器识别结果达到86.25%,相比单个分类器提高了2.09%。4.针对多目标背景下的手持商品检测,计算商品和手部在二维图像上的位置信息,融合深度图像,对比对应位置的深度值得到手持商品。为减少检测模型的无关背景输入,采用基于手部位置的局部放大算法,改进多目标背景下的手持商品检测模型。改进模型的检测准确率达到93.26%,提高了4.4%。本文基于深度学习的商品检测算法研究,为无人超市采用纯视觉的商品结算方式提供了理论依据和实现方案,能够有效提升无人超市商品结算效率。