基于强化学习的AGV动态路径规划研究

来源 :四川大学 | 被引量 : 0次 | 上传用户:suenger
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统的自动规划小车(Automated Guided Vehicles,AGV)路径规划需要提供详细的场景地图,不适应复杂的动态环境,从而导致工作效率低,易发生多车堵塞的情况。又因为强化学习具有自主学习、动态调整等特征,所以可在无环境模型的情况下,完成动态路径规划任务,获得最优路径。但是,本文针对强化学习算法存在的探索-利用不平衡和连续状态空间问题,提出一种基于Kohonen网络融合的强化学习算法(K-L)。并且设计一种基于改进遗传算法和K-L算法结合的双层路径规划方法(GA-KL),能在动态复杂的环境下,实现算法快速收敛,确保AGV无碰撞运行。主要工作如下:1)本文设计一种基于改进强化学习的AGV路径规划算法(K-L算法)。首先,对传统的探索-利用平衡方法改进,引入改进模拟退火算法优化ε-greedy中ε的取值,增大跳出局部最优的能力,从而改善探索-利用之间的不平衡,防止出现AGV频繁绕路无法找到最优解、多次探索导致学习时间过长等问题;然后,在模拟退火算法优化的基础上,通过融合Kohonen网络对连续的外部环境进行聚类分析,得到状态表示方法,改善传统强化学习算法收敛速度慢和AGV环境学习的效率低的问题。最后,通过仿真和实际实验验证了算法的有效性,以及收敛时间上的优势。2)基于K-L算法,本文设计一种基于改进遗传算法和K-L算法结合的双层路径规划方法(GA-KL)。首先,采用由三交叉算子和节点繁忙系数优化的遗传算法(T-GA),作为全局规划算法,以拓扑图节点为编码,避让坐标固定的静态障碍物,生成全局最优路径节点集合;并采用A*算法,以路径最短为目标,寻找节点之间的最短路径。然后,若运行路径上不存在动态障碍物,延用A*算法所规划的路径,快速通过;若发现动态障碍物,则在节点之间采用上述K-L算法进行局部规划,避让局部动态障碍物。该方法将T-GA算法、A*算法与K-L算法相结合,具有良好的全局搜索和动态避让能力。仿真实验和实车实验表明,在复杂的动态环境中,基于GA-KL的路径规划方法能实现有效的动态避障,以及收敛时间上的优势。
其他文献
管道作为石油和天然气的主要运输方式,其在长期服役之后可能会发生泄漏事故,对人民生命财产安全和自然环境造成重大危害。以管道机器人(Pipeline inspection gauge,PIG)为载体的管道内检测技术是保障油气管道安全运输的重要手段。管内高压流体驱动下的管道机器人,在环焊缝等外部障碍的激励过程中将会产生极为复杂的非线性动力学问题。本文采用流固耦合的分析方法,研究了管道机器人在冲击环焊缝时
随着油气生产进入中后期,海洋油气井会逐渐失去开采价值,需要进行井筒封堵弃置作业。如果封堵弃置不当,油气井井筒内流体可能上窜,在不同地层间串通,甚至泄漏到井口外。对比陆地油气井,海洋油气井的安全要求更高,一旦油气泄漏,将造成严重的安全和海洋环境污染问题,对临近船只、沿岸居民及海洋生物造成严重威胁。同时,越来越多的油气井开始进入生产中后期,正在或者即将面临弃置问题。因此,海洋油气井井筒弃置参数的优化设
柴北缘滩间山群及相邻层段发育多套黑色岩系沉积,不仅是优质的烃源岩和低热值燃料,同时也是某些无机元素富集成矿的重要层位。但黑色岩系形成过程中有机质与特定无机元素间的相互作用机制、沉积环境和构造活动又如何影响黑色岩系形成并伴生成矿等问题尚需继续探讨。在论文研究过程中,一方面对柴北缘地区野外踏勘构造形迹、沉积地层和岩性分布特征等信息,从宏观层面分析其形成演化历程;另一方面又通过多种有机地化实验和无机地化
黑色岩系作为地质历史时期环境突变的重要产物,既赋存着丰富的油气资源,也富含钒(V)、镍(Ni)、钼(Mo)、铂族元素(PGE)、磷(P)等众多金属和非金属矿产资源。黑色岩系中有机质与钒之间的伴生关系及相互作用一直受到地质学家的广泛关注。湘西地区发育的黑色岩系层位较为稳定,本文以湘西地区龙鼻嘴剖面和三岔剖面下寒武统牛蹄塘组黑色岩系为研究对象,采用有机地球化学和无机地球化学相结合的方法探讨了黑色岩系沉
孤岛油田为我国渤海湾盆地济阳坳陷大型整装油气田,经历了几十年的开发生产调整,已经步入了油田高含水期,但其采收率相对较低,一般为30%左右,相当多的剩余油依然存储在地下,且剩余油表现为“整体分散,局部富集”的情况。因此,对研究区进行精细多级次储层构型表征,明确研究区构型空间叠置样式,探讨了构型约束的剩余油的分布规律,对研究区剩余油进一步挖潜具有重要的指导意义。本文综合利用研究区岩心、测井、动态等资料
利用昆明市空气质量国控监测点2019年监测资料,分析每个监测点AQI变化情况,发现昆明市全市空气质量总体较好;空气污染程度春季最严重,秋季最轻,没有表现出明显的周末效应;造成昆明市空气污染超标的主要污染物依次为O3-8h、PM10、PM2.5。
烟气洗涤塔是WGS湿法烟气脱硫技术中对脱硫后烟气进行气液分离的装置,其入口下方的气液分离原理类似于旋风分离器。本文通过实验的方法,在一套φ284mm的烟气洗涤塔冷态实验装置上,测量了烟气洗涤塔内的压力信号、气相速度流场、气液分离效率和压降,分析了烟气洗涤塔内部的旋流特性,考察了影响分离性能的主要因素。在此基础上,通过在分离空间增设隔板、塔底添加积液两种方式改变烟气洗涤塔的分离空间高度,探究分离空间
碳酸盐岩储层岩性致密,储层孔渗性质差,储层孔喉配合度低、连通性差、非均质性强,酸压是目前碳酸盐岩储层应用最为广泛的增产改造措施之一,决定酸压改造效果评价指标主要是活酸作用距离与酸压裂缝导流能力。面对发育较多天然裂缝的碳酸盐岩储层,由于天然裂缝的存在,储层渗透率较高,会加剧酸压过程中酸液的滤失,从而影响活酸作用距离与酸蚀裂缝导流能力,目前存在的碳酸盐岩酸压模型未能考虑天然裂缝与裂缝面上渗透率非均匀分
随着科技的发展,社会对人才的培养也提出了强化合作意识的要求。同时,在新一轮的课程改革之中,则以培养学生的素质为核心,要求教师能够根据时代发展的必然需求调整教学模式。这也就使得教师需要全面应用小组合作学习模式,尊重学生学习的主体地位,推动学生的个性化发展,从而使学生的人文素养和团队意识得到更加良好的培养。
通过对课程标准、教材内容和高考题的深入分析,发现学生常常忽视有机物制备中装置选择、产品分离和结构鉴定的重要性,因而精心设计了“分析情景,初建模型——再现情景,精修模型——陌生情景,应用模型”三个教学环节,让学生在问题解决中逐渐建构有机物制备的一般认知模型,提升“模型认知”核心素养。