【摘 要】
：
随着日常生活和生产过程中智能平台的广泛应用,越来越多的智能平台搭载云台相机作为其获取有效视觉信息的重要手段。为了充分发挥云台相机的优良特性,研究云台相机的位姿控制策略具有重要意义。本文针对云台相机位姿控制,研究基于传统PID方法结合群智能算法以及深度强化学习的相机位姿控制算法。论文的主要工作如下:首先,简介强化学习和深度强化学习的基本概念,对比分析了基于值函数、基于策略梯度和演员-评论家三种强化学
论文部分内容阅读
随着日常生活和生产过程中智能平台的广泛应用,越来越多的智能平台搭载云台相机作为其获取有效视觉信息的重要手段。为了充分发挥云台相机的优良特性,研究云台相机的位姿控制策略具有重要意义。本文针对云台相机位姿控制,研究基于传统PID方法结合群智能算法以及深度强化学习的相机位姿控制算法。论文的主要工作如下:首先,简介强化学习和深度强化学习的基本概念,对比分析了基于值函数、基于策略梯度和演员-评论家三种强化学习算法的特点,以及典型深度强化学习模型DQN算法的特点。其次,基于传统PID方法结合群智能算法,提出一种基于改进人工鱼群算法和自适应模糊PID的相机位姿控制算法。设计了云台相机位姿控制技术路线及约束区域;针对人工鱼群算法的缺点,引入了遗传算法进行优化,设计了基于遗传思想的人工鱼群算法。结合改进人工鱼群算法和自适应模糊PID算法进行相机位姿控制实验,并与常规PID和自适应模糊PID控制算法进行对比分析,验证所提算法的有效性。最后,提出一种基于深度强化学习的云台相机位姿控制算法。分析云台相机位姿控制模型,针对任务需求,设计了状态空间和奖励函数,由状态奖励和时间奖励构成中间奖励,并对成功和失败的最终奖励重新赋值,引导智能体尽早收敛;通过创建成功经验池和失败经验池,提出一种基于自适应优先经验回放方法,提升训练效果,并探讨了网络结构、学习率以及成功经验抽取比例等超参数对训练结果的影响。通过场景训练和测试,将所提出的改进TD3算法与DDPG算法、常规TD3算法进行对比分析,测试结果表明所提算法的有效性。
其他文献
随着人们生活水平的提高,机动车已逐渐成为环境污染的重要来源,能源和环境问题得到全球广泛关注。针对交通行业带来的副作用,电动汽车以其零污染、低能耗的突出优势逐渐成为物流企业进行货物配送的首要运载工具。然而和传统燃油车相比,当前电动物流车在电池容量和续驶里程等方面还存在不足,解决充电难问题是电动物流车规模化运营的关键。电动物流车换电站作为一种新的电量补给设施,和插入式充电方式相比更加方便省时,同时避免
随着世界经济发展,各国人民的生活水平不断提高,市民拥有的私家车也在不断增加,然而,交通事故频繁发生,严重影响了市民的生命财产安全。目前,基于机器学习方法进行交通事故预测的研究,有些忽略了交通事故的时间相关性,有些忽略了交通事故的空间相关性。本文提出一种基于双通道的图神经网络（Bi-Merge Spatial-Temporal Graph Convolution Network,BMSTGCN）模型
为了保护网络免受入侵,入侵检测系统在维护任何组织中任何数据的机密性方面发挥着重要作用。我们通过混淆矩阵实现了本文的主要目标,并通过精确召回和F1 分数共享结果。在本文中,我们讨论并探索了 NIDS的准确性能,它可以使用神经网络算法检测网络中的多种类型的攻击。我们通过与不同类型的攻击进行比较,分析了我们模型的准确性。我们的主要目标是在不依赖于过去的经验和首次尝试的情况下检测不同类型的网络攻击。我们在
无线传感器网络（Wireless Sensor Networks,WSNs）是一种分布式传感器网络,是物联网的很重要组成元素之一。主要通过感知周围信息,以逐跳的方式将获得的信息传送到基站（Base Station,BS）。目前大多数WSNs中传感器节点由电池提供能量,对其网络寿命限制极大,导致其推广和应用受到了严重的影响。因此,延长网络寿命一直都是WSNs中重要研究方向。针对这一问题,目前主要采用
共享单车在2016年出现后,在很短时间内实现了大规模的投放和使用。同时共享单车具有优秀的低碳减排属性,缓解了大城市的拥堵现象,提高了出行效率,拥堵时间明显缩短。与此同时,共享单车更能和地铁等公共交通工具配合使用,满足市民公交通勤全流程的衔接,给人们提供了绿色安全便捷出行的新选择。但共享单车的快速增长也带来了负面影响,车辆投放总量严重过剩,同时存在企业现场运维薄弱等问题,各大城市逐步开始共享单车总量
车辆雾计算（Vehicular Fog Computing,VFC）的快速发展为车辆带来了诸多益处,如对计算资源的低时延访问。然而,安全与隐私威胁、信息不完全及用户车辆任务数据排队时延和切换成本的长期约束等限制了其发展。本文基于区块链和智能合约提出了一个保护用户隐私、确保安全性和公平性的任务卸载方案。具体来说,用哈希树和智能合约实现“计算量证明”,进而减少“双重索偿”攻击、“搭便车”攻击和赖账攻击
随着无线技术的广泛应用,毫米波通信成为近年来研究的热点,信道测试、建模与仿真技术在毫米波通信系统设计中起到重要作用。与此同时,遗传算法（Genetic Algorithm,GA）与机器学习中支持向量机（Support Vector Machine,SVM）算法的结合能够克服高维数据处理复杂度高、冗余数据处理对算力要求高等传统信道研究难题。而灰色理论的引入可以使模型面向小样本数据,增加模型的预测精度
深度学习方法以其特征提取和非线性数据建模的优势,受到越来越多研究者的关注。卷积神经网络作为深度学习中一种典型的结构,被广泛应用于化工、生物和语音识别等领域。卷积神经网络局部连接、权重共享等特点,使其可以有效地降低网络的复杂度,减少训练参数的数量,增强模型的容错能力。近年来中国电力工业中新能源占比越来越高,正在逐步构建高比例新能源电力系统,因此风速的精准预测对风电并网下提高电力系统的稳定性有重要意义
近年来,经济持续快速发展,人民生活质量得到显著提升,消费需求也在持续扩大。乘用汽车作为人民出行重要的交通工具,市场需求量也在不断增长。乘用汽车消费需求的不断扩大驱动了汽车物流行业的进步。铁路运输作为汽车物流的运输方式之一也实现了快速发展。在发展的过程中,铁路运输的固有属性使其具备了长距离、大批量、可靠性强等优势。基于铁路的优势特征以及汽车物流的特殊性,铁路运输逐渐发展成为了乘用汽车物流的主要运输方
多机器人编队问题是多智能体协作研究的重要问题,是机器人控制的一个重要分支,也是当前研究的热点,机器人编队已经应用在军事搜索,潜艇编队,无人机编队等复杂任务中,通过多个机器人相互协作进行编队能够完成多种复杂的任务,能提高工作效率,减少能源消耗成本,提高任务完成的成功率。本文以轮式移动机器人为研究对象,采用领导者-跟随者编队的编队模式,通过用滑模变结构控制来对该非线性系统进行控制,对多机器人编队控制进