基于3D位姿估计与深度强化学习的机械臂抓取控制研究

来源 :哈尔滨理工大学 | 被引量 : 0次 | 上传用户:liujj08
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机械臂在工件分拣、搬运、码垛以及金属加工等场景中有广泛应用。然而,传统方法大多让机械臂按照预先制定的程序重复运行,导致其灵活性差。基于视觉的伺服控制,极大的提高了机械臂的感知能力,为机械臂的智能控制提供了基础,但是视觉检测的效率和准确度成为了研究难点之一。同时,随着深度强化学习理论的不断发展,通过控制机械臂与环境进行交互学习最优动作,从而使机械臂完成复杂任务成为可能。因此,本文将基于视觉的目标检测和深度强化学习的控制方法,建立机械臂的智能感知与控制系统,以提高机械臂的智能化水平。首先,本文针对深度强化学习以图像作为输入时,状态维度太高的问题,设计基于平面的3D位姿估计算法,显示地表达图像中待抓取物体的位姿信息。通过自制VOC格式的数据集,并搭建YOLOv5网络通过迁移训练,实现待抓取目标的实时检测,然后根据颜色和形状特征,基于平均背景法进行背景分割,并计算待抓取物体的旋转角度,从而提取目标物体在平面上的3D位姿信息。然后,针对DDPG算法在初始训练阶段有效数据生成率低的问题,设计一种DMP示教数据生成模块,用来高效生成泛化的人工示教数据,提高DDPG算法的训练效率。并融合视觉检测信息和机械臂的状态信息,对强化学习的输入状态进行设计。最后,搭建实验平台对本文的算法进行验证。首先将3D位姿提取模块与深度强化学习的控制策略模块分开训练,搭建UR3e机械臂的实物平台,基于ROS中的Moveit运动控制工具库,对视觉检测模块的有效性进行实验验证。其次,在Gazebo中搭建UR3e的仿真环境,并在该环境中训练融合DMP示教数据生成模块的改进算法,通过与原始算法进行对比,验证改进后算法的有效性。
其他文献
机械臂在密集杂乱场景中抓取物体时容易碰撞,需要借助推动分离物体,以获取足够的抓取空间。目前已有的推抓协同方法样本效率和抓取成功率偏低,针对这些问题,提出了一种新的基于DDQN(double deep q network)的深度强化学习方法能够高效地学习优秀的推抓协同策略,该方法包括可以筛选有效动作的掩码函数(mask function),协助机械臂探索更多有助于抓取的样本,促进模型进行高效率的学习
期刊
当今世界,综合国力的竞争归根结底就是创新人才的竞争,高中数学教育对培养学生的创新能力和逻辑思维能力具有重要价值。深度学习能够改变传统教学“重知识,轻能力”的弊端,促进学生以自主建构的方式学习,提升学生的高阶思维能力和核心素养。深度学习的实施离不开整体设计策略和结构化知识体系,“单元教学设计”运用整体性和系统性思维,对单元学习内容进行有逻辑联系地整合和组织,有利于提升学生的数学核心素养,培养学生运用
学位
初中数学复习课以单元知识的整体结构为基础,可以激发学生对学习内容进行思考、探索与合作交流的兴趣,从而提高他们的知识应用能力,促进学生数学学科核心素养发展。以提高学生的学习能力、提高老师的职业水平为出发点,以核心素养为指导的初中数学复习课为研究对象而提出新观念和新方式,正日益引起人们的关注。基于此,文章将对大单元背景下基于核心素养视角的初中数学复习课教学设计进行研究。
期刊
随着新课程改革的深入推进,数学教学在学生核心素养培养中扮演的角色越来越重要。而初中数学大单元教学是数学教育中的一种重要形式,是学生初步接触数学知识和掌握学习方法的重要途径。因此,有效地开展初中数学大单元教学,提高学生数学核心素养,已成为当前数学教育中的重要任务。文章对初中数学大单元教学目标定位进行阐述,由此提出相应策略,以期助力相关的教育工作者在教学过程中进行实践。
期刊
在现代工业生产、医疗手术、科学研究等领域,使用六自由度机械臂来完成高重复性、高危险性以及高精度性的任务已经成为一种趋势。不仅如此,在机器人技术的发展和应用深入推进的同时,机械臂路径规划问题也成了机器人领域中一个非常重要的研究方向。论文主要研究了六自由度机械臂路径规划问题,旨在提高机械臂的路径规划精度和效率,进一步推动机器人技术的发展和应用。首先,针对A*算法耗时长且精度不高的问题,通过对代价函数、
学位
在我国教育体系不断改革的背景下,若想凸显数学学科的价值,初中数学教师要打造开放型的课堂,注重有效提问,激发学生的探究热情,实现学生数学思维的锻炼。提问作为教学过程中的重要环节,应当贯穿于整体教学,保证教学质量有所提升。教师要把握具体学情精准地提出问题链,并确保各个问题之间有效衔接,增强问题的多样性,保证课堂教学充满趣味,使学生对数学知识有强烈的学习热情。文章就初中数学问题链教学的必要性、关键点和具
期刊
<正>《中国中医药报》2022年3月23日讯:近日,《国家基层糖尿病防治管理指南(2022)》(下称《指南》)发布,《指南》首次增加“糖尿病的中医药防治”章节,积极支持和鼓励中医药融入糖尿病综合防治体系,发挥整体观、辨证论治优势,结合体质辨识等,综合运用药物和非药物等多种方法开展综合防治。《指南》是在2018年版指南基础上,结合国内外研究最新进展进行的更新。《指南》明确中医药对防治糖尿病的功效。
期刊
为实现渔业养殖中的精准投喂,在传统检测算法的基础上,提出了一种基于鱼群纹理、形状和密集度特征的轻量级鱼类摄食行为实时检测算法F-YOLO。将YOLOv4算法原来的主干特征提取网络CSPDarkNet53替换为MobileNetV3,以少量检测精度下降的代价极大提升网络的实时检测性能,提升对鱼类小目标检测性能;对网络结构卷积层进行通道剪枝和知识蒸馏处理压缩模型,减少浮点运算次数(FLOPs)和计算量
期刊
在面对复杂任务时,传统强化学习方法存在状态空间庞大、奖励函数稀疏等问题,导致机械臂不能学习到复杂的操作技能。针对上述问题,提出一种基于分层强化学习的机械臂复杂操作技能学习方法。首先,底层运用基于Beta过程的自回归隐马尔可夫模型,将复杂操作任务分解为多个简单的子任务;其次,对每个子任务运用SAC算法进行技能学习,得到每个子任务的最优策略;最后,根据底层得到的子任务最优策略,上层通过基于最大熵目标的
期刊
【目的】为解决非结构化环境下采用深度强化学习进行采摘机械臂路径规划时存在的效率低、采摘路径规划成功率不佳的问题,提出了一种非结构化环境下基于深度强化学习(Deep reinforcement learning, DRL)和人工势场的柑橘采摘机械臂的路径规划方法。【方法】首先,通过强化学习方法进行采摘路径规划问题求解,设计了结合人工势场的强化学习方法;其次,引入长短期记忆(Longshort ter
期刊