论文部分内容阅读
在超市场景下,商家以及消费者需要实时地获得货架上的商品相关信息。目前这些商品的相关信息都是通过人工获得,但是超市的商品数目巨大,人工获得商品信息的方式成本高并且效率低,因此基于视觉的商品识别方法具有重要的研究意义和商业价值。超市商品识别方法主要有三个部分:商品目标的检测,商品目标的特征提取和商品目标的识别。目前常用的商品识别方法主要步骤如下:首先利用图像分割技术得到目标,然后提取商品的手工特征并与标准商品模板库中的商品匹配,进而得到商品目标的识别结果。但是超市中商品种类繁多,商品的表观特征没有一定的规律,因此常用的图像分割技术很难将未知的商品目标从图片中分离出,同时手工提取的特征很难自适应地表达海量商品的特性,导致这些方法在超市真实场景中不具备实用性。针对以上问题,本论文将深度学习算法应用到超市商品识别方法中,通过深度神经网络检测出商品目标区域并利用网络里的卷积层自适应地提取商品特征。本文的主要工作以及贡献点如下:1.本论文利用深度学习的方法对超市货架图片中的商品进行检测并且粗分类。首先在超市真实场景中采集数据,对货架图片中的商品区域进行标注并且粗分类,制作可供网络训练的数据集;其次构建基于卷积神经网络的端到端的商品检测模型,并在数据集上训练;然后利用训练好的商品检测网络模型检测出货架图片中的商品目标区域以及商品粗类别,通过粗分类可以提高商品的识别速度并且避免了不同粗类别商品的相似性问题。实验结果证明基于深度学习的检测方法能够准确地检测出货架图片中所有包含的商品目标并且准确地对商品进行粗分类。2.本论文通过卷积神经网络对商品进行特征提取,并且通过聚类的方法对商品特征进行编码从而完成商品的识别。首先将监测网络最后一个卷积层的输出作为商品的特征表示;其次目标商品的大小不同,得到的商品特征大小也不同,为了便于之后的识别操作,本论文利用Fisher Vector对目标商品的特征进行编码,将所有检测到的商品特征转换成相同维度的描述子,在某种程度上,对商品的特征信息进行了补充;然后构建标准商品模型库,计算编码后得到的描述子与同粗类别标准商品模型库中商品描述子的相似度,选择相似性度量最高的模型作为该商品的识别结果。自己构建了一个小型超市商品模型库,在真实的超市场景中进行测试,结果表明本论文提出的基于深度学习的超市商品识别方法具有较高的识别精度,在真实场景下具有一定的可行性。