随着电子商务的发展和机器人操作技术的进步,人们对开发智能机器人系统来代替仓库中重复的人工操作越来越感兴趣。作为自动化仓库的核心,全自动产品装箱是机器人领域的一个新兴研究热点,同时也是一个重大挑战。在一个机器人产品装箱任务中,机器人被要求首先从非结构化产品堆中挑选物品,然后将其放入一个包装盒中,以完成客户订单。这个任务存在两个难点,分别存在于拣选和放置两个步骤中。首先,在非结构化的产品堆中快速抓取目标物品是一个挑战,尤其是当产品尺寸不一且存在遮挡时这个步骤会更加困难。其次,将物品无碰撞、无挤压地放置在货箱中,同时保证较高的空间利用率也很值得研究。目前的机械臂的研究都主要聚焦于抓取操作,将物体抓取成功后就随意放置,有部分工作利用深度强化学习针对放置问题做出了数学上的优化,但是由于装箱状态的随机性过高,探索空间过大,传统的深度强化学习也很难取得良好的优化效果。由于上述几个困难,建立完整的产品装箱系统并不容易。为了解决这些困难,本文提出了基于启发式深度强化学习的装箱算法和系统,可以在无序随意摆放的产品堆中采取六自由度动作拾取任意姿态的物体,并规划合理的放置位置,紧凑地摆放更多产品。考虑到不确定物体最优装箱位置难以学习、算法学习速度慢且难以收敛的问题,本文创造性的将人类经验编码结合到深度强化学习算法中,给强化学习以引导但又不限制它的探索,帮助智能体更快的探索到更优的放置策略,另外采用动作屏蔽机制,改变无效动作的概率分布大大加快了学习过程。针对非结构化真实环境抓取-放置装箱系统领域空白的问题,设计了 PackerBot系统,一个完整的机器人框架可在非结构化场景执行可变大小的产品包装。其中包括基于6自由度吸力的拣选模块和产品尺寸估计模块,完善了系统的流程,形成了一个完整的产品包装系统。还设计了虚拟到现实的迁移模块,跨越了仿真和现实之间的鸿沟,将前面在仿真中利用深度强化学习学到的最优放置策略成功迁移到真实世界。本文专门设计了一个仿真平台对上述提出的方法进行对比和训练。并且在UR5机械臂平台上对整个系统进行真实世界测试,以及和人类表现进行了对比。大量的实验结果表明,本文的方法在模拟和实际测试中都达到了较好的性能。