机器人越来越多地部署在非结构化和复杂的领域,包括家庭和各种商场超市场景。为了自主地执行复杂任务,可靠的环境感知是必不可少的。对于不同的任务可能所需的感知能力不同。对于更复杂的交互,例如在成百上千种商品的超市货架上找到特定的商品,高精确度的语义分割是机器人在复杂货架上找出特定商品必不可少的关键因素。本文针对机器人在无人超市对货物识别过程中存在二维码被遮挡、记录商品信息的条形码模糊等对货物信息统计造成困难的问题,提出采用混合全卷积自编码器的网络架构进行语义分割,再通过点云配准进行位姿估计的方法得到商品信息及其空间姿态,从而保证了信息统计的完整性以及提高了机器人环境感知能力。首先,本文对货架商品的语义信息展开研究。通过构建一种高速度、低错误率、高识别率的超市货架环境的语义识别框架(混合全卷积自编码器)对超市货架上的三大类商品(瓶装、罐装以及袋装)进行语义分割,该框架引入全卷积神经网络和栈式稀疏自编码器结构,利用FCN网络生成货架商品的热力高维特征图,同时对分割得到的特征图进行上采样操作,最终在上采样操作过程中结合栈式稀疏编码算法(SAE)对得到的卷积特征进行细化且保留图像边界细节,从而使得分类结果更精确。其次,利用提出的混合全卷积自编码器语义分割框架对货架三大类商品进行语义分割后得出的语义分割图再结合Kinect相机下的深度信息来确定超市货架上商品的点云信息以及估计商品的实时姿态,在进行点云配准过程中较传统的ICP点云配准算法中对高斯滤波后的删减点云进行下采样操作使得点云配准过程上速度更快、准确度更高。最后,为了验证所提出的针对货架商品能够达到高精度的语义分割方法以及对商品进行位姿估计有效的算法,在ROS-kinetic环境下全程对移动机械臂进行抓取仿真实验,通过大量实验验证本文提出的混合全卷积自编码器语义分割框架相对于其他语义分割框架对商品抓取的准确率并实现AGV小车在自身建立的二维地图上进行定位导航。也通过实验验证了在移动机械臂达到目标点有定位误差的情况下提出的语义分割框架相对于其他语义分割框架的实验对比,从而验证该方法的有效性、鲁棒性等性能。