基于强化学习端到端模型的柔性机器人智能规划方法研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:jingcheng0417
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于高性能柔性材料为主要驱动结构的机器人具有高水平的灵活性和运动能力,能够在不可观测、非全观测或非结构化的复杂环境中拥有比传统刚体机器人更出色的表现,因此当前学界对柔性机器人的应用进行了广泛的研究。由于柔性材料具有非常复杂的非线性特性,因此在柔性机器人规划和控制方面存在较多的挑战。为了使柔性机器人能够自主智能地完成目标任务,首先,在本课题研究中结合仿生学思想构建了一款构型独特并且结构灵活的柔性机器人G-Bot。其次,为了达到机器人智能规划和操控的目的,本课题研究首次提出了一种针对于柔性机器人规划控制的端到端模型方法。该方法基于大量传感器数据(如视觉信息)同时利用深度强化学习利用历史数据规划柔性机器人的最佳运动轨迹,最终将路径消息传递到真实柔性机器人中进行验证性操作。最后,本课题研究的仿真和物理实验证明了G-Bot柔性机器人具有一定的可操纵性和自主运动灵活性。同时基于RGB图像的端到端强化学习模型进行最优路径规划方法,取得了仿真实验和实际验证的成功。本课题研究中使用的深度神经网络模型利用大量历史数据,在仿真环境中成功探索出最佳运动路径并完成预置的目标任务。另外本课题提出的端到端规划方法充分利用了机器人的历史经验数据,从而避免了对高维且复杂的机器人系统进行运动学分析。实验结果表明,该端到端模型能够在特定任务中有出色的性能,同时结果还证明深度强化学习在解决非线性柔性机器人的规划和控制问题方面具有巨大的应用潜力。
其他文献
随着无人驾驶、高精地图、智慧城市等新概念的提出,许多场景都需要进行以点云数据为基础的3D环境感知和交互,大规模点云场景下的感知算法的研究具有广泛的应用前景。点云是一种重要的三维几何数据结构,其可以准确、直接的反应真实的世界,因此本文以三维点云数据为载体,研究大规模点云场景下的分类、点云分割以及3D目标检测三个场景感知挑战任务。在大规模点云场景下的分类任务中,考虑到由于采样不均匀,传感器精度等因素的
视觉算法在智能驾驶的交通场景感知中有着广泛的应用。作为后续决策、规划、控制算法的前置环节,感知算法需要较高的精度;为了保证信息的有效利用和车辆的安全性,算法也需要具有较高的效率。交通场景的视觉感知通常采用精度较高的深度学习算法,但这类算法往往计算量较大,效率较低。因此,有必要对算法的精度-效率平衡进行研究,保证算法的实用有效。本文首先介绍了视觉算法在交通场景感知中的应用,并讨论了交通信号识别和交通
本文通过对新发展理念视域下艺术赋能美丽乡村建设的理论基础、现有成就、发展模式等进行理论梳理,并根据对宁波美丽乡村建设的突出问题与困境实际调研结果,从中得出宁波本土特色的艺术赋能美丽乡村建设的启示与建议,并以宁波高校办学优势为切入点,开启通过整合校内外资源,创建产教融合、科教协同、院际共享、校地协同的高校艺术赋能宁波美丽乡村建设模式,努力做建设艺术赋能乡村振兴宁波先行的模范生。
经过过去几十年间不断地建设与发展,中国内河水运安全体系取得空前的成就,已经形成了一个相对完善的内河水运系统。但是目前中国内河水运事故仍然频发,带来众多严重后果。2015年“东方之星”号客轮突遇罕见强对流天气,在长江中游湖北监利水域沉没,造成严重人员伤亡和巨大财产损失,再次突显出中国内河水运的安全问题之重,中国内河水运的安全问题亟待解决。本文旨在挖掘中国内河水运风险致因因素,制定相应策略,减少此类风
本文研究了不同深度强化学习算法在医疗应用-虚拟手术室中的表现。通过观察分析,创新性的建立了一个虚拟环境系统,目的是探究智能体在该环境下如何采取一系列行动以达到目标。该虚拟系统设计了惩罚奖励机制,引导智能体采取获得最大奖励的行为。本文回顾了不同深度强化学习算法对智能体的影响。本文通过实验图比较了不同算法在模拟环境下的表现。现有的方法,例如同步定位和映射(SLAM),都需要先验信息来引导智能体到达目标
Web应用已渗透到人们现代生产生活的每一个角落,Web应用安全举足轻重,对社会运行的方方面面都有重要影响。cookie作为Web应用重要的信息存储手段,保存着Web应用运行中的关键信息,其安全是Web安全中重要的一环。cookie同源策略是对cookie的访问权限进行限制的核心策略,但是cookie同源策略只是抽象的原则,浏览器对cookie同源策略的实现方法不尽相同,会导致cookie的意外发送
[目的/意义]基于专利地图对全球区块链专利信息进行分析,旨在发现区块链的专利申请状态分布、技术活跃度和发展趋势。[方法/过程]基于Incopat全球专利数据库,论文检索了2008-2020年全球区块链专利,从IPC分类、专利申请量、地区分布、技术创新主体和专利被引率等角度分析区块链专利信息。[结果/绪论]区块链热点技术领域有金融商业领域、通信领域和数据处理领域,包括检验系统用户身份或凭据的装置、支
开展复杂电磁环境下的先进雷达跟踪系统研究,是现代防空和导航应用的核心问题。本文基于雷达信度传播跟踪理论,首先构造时变因子图结构,并考虑有限步历史修正项及部分先验信息,提高潜在目标集合时变性,随后面向强杂波干扰环境展开深入研究。针对普通密集杂波环境,从雷达数据处理层面出发探索适应高密度杂波干扰的跟踪理论,基于信度传播结合幅度信息和多普勒信息,首先提出幅度杂波抑制跟踪方法,在数据关联阶段引入幅度似然比
近年来,许多研究者对结构可控性的鲁棒性进行了研究,考虑节点或者连边失效下系统的可控性的变化。有的研究基于网络连通性,通过对攻击的最大容忍度来刻画鲁棒性,有的基于节点或边失效而导致的路径增加来定义鲁棒性。据我们所知,目前还没有直接利用受损网络的可控子空间作为鲁棒性指标。因此,本研究针对各种节点失效策略提出鲁棒性度量,并基于这些度量给出驱动节点集的选取,以确保系统结构面对攻击具有更高的鲁棒性。鲁棒性的
软错误指高能粒子与硅元素的相互作用在存储单元中造成临时、随机的状态改变或瞬变。在航天领域中,由于外太空高能粒子以及高辐射的影响,使得星载系统中软错误的发生成为了一个高频事件,对于可靠星载系统的设计必须要充分考虑到软错误的影响。本文基于复杂系统内部可靠性威胁链理论,提出了针对控制器系统软错误量化评估方法,分析了控制器系统中软错误敏感的关键节点以及它们与系统失效状态的关联性,对软错误在控制器系统中的传