基于意图共享的分散式任务规划方法研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:taizijian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多主体任务规划在给定环境下面向目标做出优化的多主体行动决策,在无人群体协同执行任务这类场景中,有着广泛的应用。随着自主无人群体智能应用的发展,环境动态、规模增长、任务多样等对多主体规划提出了新的挑战,亟需从以集中式走向分散式多主体任务在线规划方法。这主要表现在:第一,环境往往瞬息万变,具有动态不确定性,许多先验数据无法提前获得,此类场景下必须具有临机的在线规划能力;第二,分散式的规划具有实时性、可扩展性、鲁棒性等方面的优势,比集中式规划更适配在线方法。然而,分散式任务规划面临着环境信息缺失、无中心、通信条件受限等挑战因素,导致决策效能往往存在瓶颈,不能满足任务需求。针对分散式任务规划决策效能的瓶颈问题,本文以动态环境下自主无人群体协同任务为研究目标,系统研究了基于意图共享的分散式任务规划方法,通过设计合理的协同模式尽力得到行动决策的近似最优甚至最优解。其基本思路是,耦合在线的群体协同的观察、判断、决策和行动循环(Observation-Orientation-Decision-Action,OODA),在决策环节通过富语义的异步通信进行意图共享,并以一种对等协商的方式实现高效规划,支撑群体任务的又快又好的迭代执行。论文的主要工作和创新点总结如下:(1)面向无人群体协同场景中的多主体信息收集问题,提出了一种融合意图共享与意图预测的分散式蒙特卡洛树搜索方法(Decentralized Monte Carlo Tree Search with Sharing and Prediction,Dec-MCTS-SP)。该方法将意图定义为可行动作序列的概率分布。各主体在共享彼此意图的基础上,依据对环境模型的部分观察,通过团队奖励引导的本地蒙特卡洛树搜索,结合贪婪启发式的意图预测来选择更优的多种可行动作序列,并基于概率群理论(Probability Collective,PC)更新每种可行动作序列的概率,完成意图更新。多主体通过多轮次地迭代执行以上步骤,基于意图共享完成各自的分散式规划,选取自身最优行动序列。本文把多主体信息收集问题建模为分散式部分可观察的马尔科夫决策过程(Decentralized Partially-Observable Markov Decision Process,Dec-POMDP),理论上可以验证本地改进的树搜索算法依然可以维持探索利用的平衡,意图更新算法可在多项式时间收敛到最优。实验表明,Dec-MCTS-SP算法相比于基准算法,可在更少的通信消耗和规划时间下,获得更多的团队奖励。(2)面向无人群体协同场景中的多主体对抗巡逻问题,提出了一种基于循环行为模式的分散式蒙特卡洛树搜索方法(Decentralized Monte Carlo Tree Search with Useful Cycles,Dec-MCTS-UC)。Dec-MCTS-UC将意图抽象为一种循环行为模式(Useful Cycles),多主体间基于循环行为模式表示的意图进行规划和协商。循环行为模式是与环境相关的空间层面的行为抽象,在巡逻场景中可以使得分散式规划更加高效。Dec-MCTS-UC在Dec-MCTS-SP框架的基础上,使用环形枝杈改进搜索树中的节点和边的结构,从而使得算法可以在线地发现循环行为模式,并在本地规划和全局协同中利用循环行为模式。基于理论分析可以证明发现环形枝杈算法能收敛到最优环。在多主体对抗巡逻实验场景中,验证了Dec-MCTS-UC算法相比于基准测试算法,可以更快地更大概率的捕捉到入侵者,并且规划满足实时性需求。(3)无人群体协同场景的许多问题中往往分布着大量的子目标(子任务),具有丰富的语义。本文基于子目标在时间层面上进行意图抽象,设计了多主体协同的子目标协议,并且提出了分散式子目标树搜索方法(Decentralized Sub-Goal Tree Search,Dec-SGTS),包括了子目标状态判定、子目标到子目标的连接、子目标到子目标的行动代价评估、子目标到子目标的行动策略评估、子目标状态序列编码和解码等。Dec-SGTS定义了子目标意图和子目标树的时间抽象,将子目标协议适配到分散式蒙特卡洛树搜索框架中,随着树的生长以一种动态的方式在线评估子目标到子目标的行动代价以及行动策略,从而在子目标的层面进行本地规划和全局协同。通过理论分析可以证明上述子目标评估方法具有收敛性。在多快递员取件的任务规划场景中,本文验证了Dec-SGTS算法相比于基准算法,规划效果更优,通信代价更低。
其他文献
随着近年来机器人技术的高速发展,地面无人平台在灾难救援、警戒巡逻以及后勤运输等领域的应用更加广泛。相对于有人车辆,地面无人平台可以在更加复杂的环境下行驶。轮式地面无人平台具有行驶效率高、速度快、转向灵活等优点,成为近年来各国地面无人平台的发展重点。但轮式地面无人平台在越野环境下,存在越障能力不足、软路面牵引性能差等机动性问题。围绕提升轮式无人平台的机动性,各研究机构试图通过构型创新来解决这些问题,
学位
电子信息设备不可避免地产生无意电磁辐射,这些电磁波中含有各种信息,存在着信息泄漏的潜在风险。随着信息化发展,电子信息设备的电磁信息泄漏安全问题也日益突出。开展信息设备的电磁信息泄漏检测研究,不仅可以有效发现设备的信息泄漏问题,还可以指导设备的信息泄漏防护,对于保障信息安全具有重要意义。本文重点开展了深度学习方法在电磁信息安全领域的应用研究。针对低信噪比下的电磁信息泄漏特征提取、电磁信号的多重信息泄
学位
吸气式高超声速飞行器极具战略意义和经济价值,其关键技术之一在于机体/进气道一体化设计。通过建立内外流一体化轴对称基准流场,全乘波设计方法[1]能够完成乘波构型的机体/进气道一体化设计,且能让该构型的前体和机体类机翼部件、唇口外机腹部件等仍然保持前缘乘波特性,是一种有很好工程应用前景的乘波设计方法。但该全乘波设计方法只用到了轴导乘波设计,只能设计获得圆弧形唇口进气道,不具备三维水滴形进气道的设计能力
学位
基于阵列传感器的辐射源被动定位在雷达、声纳、通信、电子对抗等领域中均具有重要的应用。相对于窄带辐射源信号,宽带辐射源信号更有利于目标检测、参量估计和目标特征提取,在实际中获得了更广泛的应用。然而,与日趋成熟的窄带辐射源定位技术相比,围绕宽带辐射源的定位研究起步较晚,还需要进一步地发展与完善。当前针对宽带辐射源的定位算法主要基于信号的子空间类方法,且算法大多瞄准远场辐射源的定位,忽视了一些特定应用场
学位
低功耗-无人海洋装备长航程、长续航工作的能源供给是国家深远海战略的重要基础。利用波浪能发电装置吸收、捕获、转换海洋波浪能是为其提供持续、稳定、可靠能源的国家战略需要。众多波浪能发电装置中,基于垂荡运动的波浪能发电装置较适合低功耗-无人海洋装备的供能需求。垂荡式波浪能发电装置研发过程中水面浮体水动力学与能效特性研究是核心和关键工作。本文采用理论分析、数值计算和实验验证的方法,先后对垂荡式波浪能发电装
学位
随着人类文明的发展和科技的进步,人们了解这个世界的手段越来越多,获取的数据也更加复杂多样,信息的获取、处理等也从单一的形式逐渐变成图片、文本、视频等多模态的数据。传统机器学习一般针对某一类型数据进行建模学习,而当前面对种类繁多的多模态数据,多模态机器学习也应运而生。无论是传统机器学习还是多模态机器学习都离不开对数据的处理,如何有效获得数据中的信息始终是一个重要的研究领域。传统机器学习中的数据表征学
学位
地球的重力场测量是地球物理学、地球动力学、大地测量学、海洋科学以及空间科学的重要组成部分。海洋覆盖了地球71%的表面积,因此海洋重力场的测量至关重要。与船载重力测量相比,靠近海底的水下动态重力测量可以更接近重力场源,获得用于小型矿床探测和海水入侵监测的短波长的重力信息。由于水下没有卫星信号,水下动态重力测量面临着许多难点和挑战,研究并攻克捷联式水下动态重力测量的科学问题将为资源探测和海洋全息重力场
学位
海洋水下温盐要素场是影响海洋过程和气候变化的重要环境因素,获取海洋温盐结构需要大量可靠的温盐数据作为支撑。然而可采集海洋内部状态的现场观测数据,特别是盐度资料,仍较为匮乏,表现为数据分布零散且时空分辨率不高,难以满足海洋科学研究需要。卫星遥感技术的发展为海洋科学研究提供了较高时空分辨率的资料,尤其是近年来发射的三颗盐度卫星,有效拓展了过去极为有限的海洋盐度观测信息。然而卫星资料仅能观测海洋表层,无
学位
强大的计算能力、低功耗特性以及可持续增长的潜力,使得多核CPU计算平台已成为高性能计算发展的主流方向之一。然而,现有的并行离散事件仿真技术应用于多核计算平台时仍存在同步时延开销大、时间管理算法适用性不足、内存管理和数据过滤效率低等问题,难以充分发掘多核处理器的计算资源,致使仿真应用性能仍有提升空间。因此,开展基于多核计算平台的并行离散事件仿真优化技术研究,对于充分利用多核平台计算资源,提高仿真运行
学位
边界层转捩是影响高超声速飞行器气动力/热载荷精确预测的重要因素,直接关系到高超声速飞行器有效载荷及热防护系统可靠设计。基于转捩模式理论求解雷诺平均NS方程方法是目前开展边界层转捩预测的重要手段。但是,由于绝大部分转捩模型由低速流动发展而来,且模式中通常存在大量的经验公式和模式常数也基于低速边界层转捩理论和试验数据研究得到,而高超声速流动特征及转捩机制与低速流动存在较大的差别。因此在利用转捩模式方法
学位