【摘 要】
：
针对双足机器人行走过程中的步态稳定控制问题,提出一种改进深度Q网络的深度强化学习方法。首先,将深度Q网络算法与确定性策略梯度相结合,提出用修正Double-Q网络优化操作—评论网络的评论网络,给出一种改进的深度Q网络;然后,建立双足机器人连杆模型,在常规的平整路面上将改进的深度Q网络用于作为智能体的双足机器人进行步态控制训练。MATLAB仿真结果表明,与深度Q网络和深度确定性策略梯度算法相比,所提算法有更好的训练速度且其回报曲线具有良好的平滑性。在CPU训练下,经过20 h左右深度强化学习能够完成智能体训
【基金项目】
：
国家自然科学基金青年基金资助项目(11802040),2018年江苏省青蓝工程优秀青年骨干教师资助项目(A1-5501-19-003)。
论文部分内容阅读
针对双足机器人行走过程中的步态稳定控制问题,提出一种改进深度Q网络的深度强化学习方法。首先,将深度Q网络算法与确定性策略梯度相结合,提出用修正Double-Q网络优化操作—评论网络的评论网络,给出一种改进的深度Q网络;然后,建立双足机器人连杆模型,在常规的平整路面上将改进的深度Q网络用于作为智能体的双足机器人进行步态控制训练。MATLAB仿真结果表明,与深度Q网络和深度确定性策略梯度算法相比,所提算法有更好的训练速度且其回报曲线具有良好的平滑性。在CPU训练下,经过20 h左右深度强化学习能够完成智能体训
其他文献
云计算被广泛地应用到各行各业,并促进了社会的稳定发展,但是由于网络本身所具有的虚拟性以及开放性的特征,不可避免地导致问题的发生,为此,要认识到所存在的问题,并针对性的分析解决,从而更好地发挥云计算的作用和价值。本文先分析当前云计算运用当中所存在的问题,接着分析云计算信息安全问题的解决策略,以此更好地发挥云计算的作用。
研究基于原始马克思扩大再生产模型,通过引入外生因素技术创新建立新马克思经济增长模型,分析珠江-西江经济带的经济增长动力与技术创新效应。实证发现:珠江-西江经济带的经济增长的根本动因是技术创新,技术创新对经济增长的影响机制分为剩余价值率机制与资本有机构成机制。创新通过影响剩余价值率和资本有机构成提高不变资本、可变资本和剩余价值率增长率,进而影响经济增长。进一步实证发现,每增加1个百分点的创新水平,带来的经济增长率为0.3724个百分点。创新对经济增长的影响显著大于资本投资与剩余价值积累对经济增长的影响。
目的:评价1565 nm M22-ResurFx非剥脱点阵激光(NAFL)联合异维A酸治疗痤疮的疗效和安全性。方法:回顾2015年-2017年该院皮肤科收治的60例中度痤疮患者,将其分为3组:单独口服异维A酸组(20例);单独使用1565 nm非剥脱点阵激光治疗组(20例);联合治疗组(20例):口服异维A酸联合1565 nm非剥脱点阵激光治疗3次。收集每次治疗前、后照片,并使用Visia和Antera 3D誖系统评估治疗前、后患者痤疮的改善程度和治疗后不良反应。结果:治疗后3组患者痤疮均有不同程度的改善
本文阐述了智能门锁的瑜和瑕,分析了目前智能门锁行业的问题,提出了智能门锁企业的发展方向和核心竞争力。
新时期背景下对于数字化校园云储存的安全工作越来越重视,这是为了能够提升数字化校园云储存安全的水平。本文结合实际在论述云计算机技术相关内容的基础上,深入性分析了云计算机技术在网络储存中的应用与过程,希望分析之后可以给该领域的工作人员提供一些参考。
现阶段,各个行业致力于信息管理系统与计算机应用技术的优化整合,进而实现工作的高效率、信息管理的高质量。为此,本文首先阐述了计算机应用技术与信息管理的含义,然后分析了计算机应用技术与信息管理系统整合的优势,之后研究了两者整合的有效路径,最后详细分析了计算机应用技术、通信技术在信息管理系统的有效运用,仅供参考。
曲面生成是实现工业逆向三维重建测量的主要途径,为了提高整体工件的曲面重建精度,将工件特征区分为平缓和尖锐特征,根据不同特征类型的特点设计了一种曲面生成优化算法。采用主成分分析方法求解点云的法向量和曲面变分,提出一种广度优先搜索算法来调整点云的法向量方向;根据曲面变分区分出尖锐特征和平缓特征,采用贪婪投影三角形算法对尖锐特征进行重建,采用泊松算法对平缓特征进行重建;将尖锐特征和平缓特征合并得到最终的曲面模型。实验表明,所提算法的精度高于贪婪投影三角形算法和泊松算法。
四川省和重庆市高强度的产业关联是实现成渝地区双城经济圈经济增长的重要路径。运用投入产出分析方法对四川省和重庆市经济发展的区域内乘数效应、区域间溢出效应和反馈效应进行静态分析与比较静态分析。研究表明:两地区区域内产业联系强度小幅下降,而区域间产业联系强度大幅上升;川渝地区在经济发展中存在产业同质竞争和市场分割。因此,两地应建立合作决策机制,打造产业配套体系,依托各自优势进行协同发展,尤其要使高技术产业形成完整可靠的区域产业链,同时加快四川省和重庆市毗邻地区市场一体化试验区建设,推进川渝地区市场一体化。
随着5G时代的推广应用,物联网产业快速的发展,万物互联已成为技术发展和产业应用的必然趋势。由于物联网终端设备的标准没有统一,以及终端安全比较脆弱,安全威胁不断恶化,端点安全复杂性倍增,容易受到网络攻击,并造成"连锁效应"。因此,急需政府、企业解决的物联网终端安全课题。通过提升使用者安全意识、国家层面完善法律法规、物联网企业加强终端设备安全的研制进行分析研究,完善物联网安全机制,增强用户的使用规范,
本研究是为满足遍布节理破碎岩体的露天金属矿山台阶扩帮的安全生产和高陡边坡稳定要求,采取了“三维数字化精准测控和动态反演优化设计”的控制爆破工艺,对类似露天矿山扩帮工程具有借鉴意义。