多智能体无标记导航和奖励收集方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:da330136324
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在机器人领域,多智能体规划是一个基本且重要的问题。在多智能体规划中,多个机器人需要相互协调,共同完成一项或多项任务。多智能体无标记规划问题被定义为机器人的目标为非确定性目标的规划问题,在各种各样的实际应用中具有重要价值,如多机器人救援、仓库自动化、房屋清洁等。此问题同时包含目标分配、轨迹生成等多个子问题,导致其求解变得较为困难。因此,多智能体无标记规划问题是目前智能机器人研究领域的研究热点之一。本论文针对两类重要的多智能体无标记规划问题:多智能体无标记导航问题和多智能体无标记奖励收集问题,开展研究并分别提出了解决方案。多智能体无标记导航问题要求多个机器人在无碰撞条件下到达同等数量的无标记目标。该问题通常应用在大规模应用场景中,如使用多机器人进行大范围搜救。考虑机器人之间的通信稳定性,该问题更适合使用去中心化方法解决。然而,现有去中心化方法多为局部导航方法,机器人在障碍物复杂的环境中容易陷入锁定配置,导致规划失败。本论文提出了一种基于多机器人通信的去中心化方法处理该问题。首先,提出使用一种基于路由器的机器人通信框架,通过在环境的关键位置部署路由器来协助机器人进行相互协调;之后,基于该框架,使用模仿学习进行训练,并提出一个基于图的专家算法为学习过程提供指导,实现了一种基于模仿学习的去中心化多智能体无标记导航方法。多智能体无标记奖励收集问题要求多个机器人在满足复杂动力学的情况下收集若干个散布在环境中的物品。此问题要求规划器同时处理离散目标分配和连续轨迹生成。现有方法通常仅考虑离散空间或连续空间中的搜索,而不是二者的结合,且部分工作并不考虑机器人动力学约束。本论文提出了一种两阶段协同优化算法处理该问题。首先,将机器人的轨迹采样到前向搜索树,并使用遗传算法同时计算目标分配和机器人离散轨迹。之后,在固定目标分配的情况下使用Metropolis Hasting算法对轨迹进行局部优化,实现了一种高效的多智能体无标记奖励收集方法。.综上,本文的主要贡献如下:1)针对多智能体无标记导航问题,提出了一种基于机器人通信和模仿学习的去中心化方法,该方法可以应用在障碍物复杂的环境,且具有很强的可扩展性,如扩展到新的场景、更大的机器人集群等。2)针对多智能体无标记奖励收集问题,提出了一种基于协同优化的方法,能够同时处理离散目标分配和连续轨迹生成,并适应复杂场景。实验结果表明,本文提出的两种方法均契合实际应用场景,具有较高的规划成功率和轨迹生成质量。对于多智能体无标记导航方法,进行了丰富的消融实验以测试算法避障有效性和机器人通信框架的作用,通过大量实验展现出了算法在机器人数量大小和机器人动力学方面的强大可扩展性以及对新环境良好的适应性,在点状机器人和汽车型机器人的测试中分别达到了 91.2%和85.6%的规划成功率。针对多智能体无标记奖励收集方法,对算法核心部分的有效性进行了分析,并通过实验验证了算法优异的收敛速度,测试分析了算法在不同复杂程度环境中的表现。实验证明,算法在较简单环境中的最高规划成功率为100%,复杂环境中的最高规划成功率达到95%。
其他文献
开展涉案企业合规试点工作,通过依法运用不捕不诉或者认罪认罚、制发检察建议等方式,引导推进涉案企业建立合规计划,重建合规制度,将事后严惩积极转变为事前预防,加强企业普法力度,将其厚植到企业合规理念中,切实可行的推进涉案企业溯源治理。检察机关为将检察职能充分发挥到实处,保驾护航我国民营企业的健康发展,开始将目光投入到刑事合规中,在司法实践中探索企业合规改革试点工作,探索企业合规相对不起诉制度。检察机关
学位
随着技术水平的提高,人工智能在交通、服务、医疗等多个领域得以应用。以自动驾驶汽车为代表的人工智能不仅具有提高出行舒适度等优势,而且具有巨大的商业潜力,但由自动驾驶系统的不可预测性带来的风险也是不容忽视的。厘清自动驾驶汽车驾驶人的权利和义务,不仅可以打消消费者的顾虑,推动车辆的市场化进程,而且可以保障事故发生后相关权益的救济。文章分为六个部分,通过列举国外关于自动驾驶汽车的相关法律规定,并结合国内现
学位
刑法分则在强奸罪、抢劫罪、故意伤害罪、虐待罪等罪名中,均规定了当被害人重伤、死亡时,按照相应罪名适用更加严厉法定刑。作为结果加重犯,该类案件在司法实践应用中有扩张适用趋势。本文旨在针对结果加重犯认定扩大化倾向,提出明晰、实用的判断标准,规范限缩其适用,维护司法权威。文章从司法实践入手,采集大量案例样本进行分析发现,结果加重犯不当扩张的表现为,扩大实行行为的认定范围,以及扩大实行行为对加重结果的作用
学位
当前经济新常态下,我国经济已由高速增长转至高质量发展阶段,我国经济发展正面临着重要转折点。十九大指出,要以推动供给侧结构性改革为主线,加快经济发展的质量、效率以及动力变革,提高全要素生产率。制造业是我国立国之本、兴国之器、强国之基,是实现我国经济全面高质量发展的主阵地与主战场。制造业发展质量的提高对于带动我国经济整体高质量发展有着重要意义。制造业高质量发展的目标最终将由微观制造业企业来实现,从微观
学位
近年来,金融与科技创新的关系已经成为各界关注的热点问题。良好的金融环境不仅能满足企业科技创新活动的融资需求,分散风险,还能解决信息不对称问题。现代金融产业中,金融集聚是金融业的空间结构特征,金融集聚的发展可以在一定程度上提高资源的配置效率,推进创新要素协调发展,提高科技创新型企业的科技创新能力。由此可见,探讨金融产业的集聚对于我国科技创新效率的影响,对提高我国科学技术创新具有很大的意义。本文在分析
学位
网络侵权具有隐蔽、分布广泛的特点,权利人通常难以确定直接侵权人,相反,网络服务提供者因易于确定,容易成为权利人追究责任的主要对象,造成责任承担的不公。所以,应合理地平衡双方的利益,让服务提供者承担其应承担的责任,如果不合理地加重其责任,就会影响其积极性,阻碍相关行业的发展;如果给予权利人的保护过轻,同样不利于创新氛围的形成和强化知识产权保护工作的展开。纵观国内外立法进程,各国都在维护权利人与网络服
学位
随着5G、工业互联网等新一代信息技术的快速发展,我国产业发展的劳动力技能需求也发生着结构变化,改变着劳动者的生产方式、就业选择和收入回报。信息技术发展下发达国家普遍出现了劳动力市场结构的两极化趋势,造成了就业结构摩擦、技术性失业、收入分配差距扩大等诸多社会问题。虽然我国当前就业结构仍呈现技能升级形式,但新发展阶段下中国在加速技术应用升级的过程中是否会同样带来劳动力市场的两极化发展仍有待研究分析。本
学位
随着社会经济、文化、科技等领域的飞速发展,我国居民的人均收入水平得到了显著提高,日常消费观念和需求也在悄悄发生改变,这些都对当前的零售行业提出了越来越高的期待,以满足消费者更加日益多样化的需要。经考察,中国内地的购物广场从最开始的传统百货到现在的购物广场的演变已经经历了约20年的时间。当前,购物广场逐渐成长为国内商业开发的主流,正在由一线发达城市向二、三线城市拓展,甚至发展到四线小城市。随着社会朝
学位
自2002年起,我国离婚率已连续18年攀升,基层法院受理的离婚案件数量也呈现逐年上升趋势。伴随着婚姻关系的解除,未成年子女所处的家庭结构和生活环境发生变化,通常会对其生存发展和身心健康产生难以估量的负面影响。高离婚率的社会背景下,诉讼离婚中未成年子女权益保护的重要性愈发凸显。离婚诉讼中未成年子女抚养所涉抚养权、抚养费、探望权三大基本矛盾始终存在,且审判实践中的新情况、新问题层出不穷。基于未成年子女
学位
网盘存储服务凭借着存储空间大、方便快速、成本低的特点成为人们日常生活中普遍使用的技术。也正是由于上述特点,使其领域的著作权侵权事件发酵快速且难以控制,对著作权人造成了严重损害。由于目前该技术的发展尚不完善,侵权行为发生后各方主体权利义务冲突不断,而我国法律对此方面的规定又难成体系,导致在司法实践中出现用法难、利益平衡难的问题。基于此,本文以探索解决网盘存储服务中的法律规制路径为目标,利用文献分析、
学位